英伟达开源Llama3.1，光环角落是曾经的 “霸主” Meta

上周末，Meta 发布了两个新的 Llama 4 模型：Scout （16 个专家，17B 激活参数）和 Maverick（128 个专家，17B 激活参数）。发布不久后，AI 社区就开始流传一个传闻：Meta 有意让 Llama 4 更擅长跑分测试，并掩盖其真实限制。

在一场引发热议的“作弊”风波中，主角是 Maverick。

Meta 曾高调宣称，Maverick 在 “被广泛引用的基准测试里”，能够战胜GPT-4o以及 Gemini 2.0 Flash。消息一出，Maverick 迅速在AI基准测试平台 LMArena 上崭露头角，一举拿下第二名的佳绩。

LMArena 这个平台很有特色，它通过让用户对多个系统的输出结果进行对比，然后投票选出最佳答案。Meta 方面给出数据，Maverick 的 ELO 分数高达 1417，这一分数超过了 OpenAI 的 4o，在所有模型中仅次于 Gemini 2.5 Pro。（ELO 分数越高，就意味着该模型在对决中胜出的次数越频繁。）

 这样亮眼的成绩，似乎让 Meta 的开源模型 Llama 4 有了叫板 OpenAI、Anthropic 以及 Google 等公司旗下顶尖闭源模型的底气。

但事情并未就此一帆风顺，不少 AI 研究人员秉持着严谨的态度，深入查阅相关文档后，察觉到一些蹊跷之处。原来，在文档的细微之处，Meta 隐晦地承认了一个关键事实：参与 LMArena 测试的 Maverick，并非面向大众公开的版本。根据 Meta 自己披露的资料，其在 LMArena 上实际部署的，是经过 “对话性能优化” 的实验性聊天版 Maverick 。

不少人注意到，Llama 4 的发布时间很奇怪——周六通常不是发布重大 AI 新闻的时间。有人在 Threads 上问为什么要在周末发布，Meta CEO 马克·扎克伯格回应说：“因为那时它准备好了。”可见，选择这个时间点发布是扎克伯格同意的。

Llama 是 Meta 最寄予厚望的一款模型，扎克伯格的目标是将其作为全球的行业标准，并在今年实现 10 亿的用户数量。此前，有人猜测 Meta 可能会在 4 月 29 日首次举办的 LlamaCon AI 会议推出 Llama 最新模型。

专注于追踪 AI 模型的 Simon Willison 表示：“这次发布总体上非常令人困惑。模型评分对我来说毫无价值，因为我甚至无法使用那个得分很高的模型版本。”

Meta 发布 Llama 4 的过程并不顺利。根据 The Information 的报道，由于模型未能达到内部预期，Meta 多次推迟发布。内部对这个版本预期尤其高，因为 DeepSeek 开源模型对其带来了很大冲击。

1 月底时有消息称，Meta 的生成式 AI 团队陷入了恐慌状态。“一切始于 DeepSeek V3，它让 Llama 4 在基准测试中落后。”“工程师们正疯狂地剖析 DeepSeek，复制一切能复制的东西。”

这次发布中，Meta 特意提到“Maverick 是同类最佳的多模态模型，在编码、推理、多语言、长上下文和图像基准测试中超越了 GPT-4o 和 Gemini 2.0 等同类模型，并且在编码和推理方面可与规模大得多的 DeepSeek v3.1 相媲美。”

“总体来说，对 Llama 4 来说是有点失望，唯一的惊喜是 Scout 的 10M 上下文窗口，可以处理巨长文本和大视频。但很可惜的是官方 Release Notes 没提到支持中文。”有网友说道。

但在第三方的长上下文测评中，Llama 4 表现并不好。对此，CoreViewHQ 联合创始人兼 CTO Ivan Fioravant 表示，“Llama-4 不可能在 120k 上下文长度下会退化得这么严重。像 Meta 这样的大型 AI 实验室怎么可能在发布中宣称支持 10M 上下文窗口，却在实际使用中表现这么差？我真心希望是某些地方出了 bug 才导致这种情况。”

“dionysio211”认为，在关于 Llama 4 的讨论中，很多真正重要的内容都被忽视了。最近发布的这些模型，其实在大模型设计方面带来了许多新颖的突破，包括：多模态趋势、新的推理与非推理逻辑设计、各种类型的 MoE（专家混合）结构等。

这些创新让普通用户在“第一印象”上产生了偏差，导致他们误以为模型退步了，而实际上模型正在快速进化。

以 Gemma 3 为例，它的多模态功能在上线时表现非常糟糕，直到现在在很多本地 LLM 平台（如 LMStudio、Ollama、KoboldCPP 等）上都还没有完全优化好。这其实很容易理解。要在现有消费级硬件上挤出更多性能、同时尽快将模型推向公众，涉及到大量变量——其中很重要的一点就是：依赖开源平台去“预判”或“适配”模型发布后的变化。

“如果每个新模型都沿用同样的架构，那怎么会有创新呢？”dionysio211 表示，“现在还没有任何主流平台对音频输入做出统一标准，那面对即将推出的“omni 模型”又要怎么支持？我还没看到有哪个平台支持 Phi-4 的 omni 版本。”“再比如 Qwen 2.5 VL 已经发布很久了，可至今大部分本地推理平台还不支持它。”

“从 Mixtral 开始，几乎每一个有新架构的模型在落地时都会遇到各种卡顿和问题。我们应该习惯这种情况，而不是在模型还没跑顺的时候就轻下结论、否定模型本身的价值。”dionysio211 表示，这都是这个行业发展过程的一部分，我们要做的是等待平台支持，而不是急着说模型研发团队“不懂在干什么”。

在 dionysio211 看来，Llama 4 这种模型正是本地 LLM 的未来趋势。它们通过构建高性能的 MoE 架构，绕过了“内存传输带宽”这一大瓶颈，使得模型甚至能在 CPU 上运行，或者至少适配 AMD、Apple 等平台。

如今信息密度已经高到 3B 规模的模型就能完成一年前 24B 才能做到的事情，并且速度甚至比部分云端模型还快。“这是目前少数已知方式中能在本地实现每秒 20+ tokens 且性能接近 Sonnet 3.5、GPT-4 的方案，也可能促使硬件厂商未来在架构上更注重内存通道优化，而不是试图去比拼 VRAM。”

网友“randomfoo2 ”则在 vLLM 做了正式发布并验证了推理精度之后自己做了评测，得到的结论是“还算可以。”结果显示，Scout（17A109B） 的水平大致可以和 Mistral Small 3.1（24B） 和 Gemma 3（27B） 相当；Maverick（17A400B） 的表现大致相当于 GPT-4o 的水平，略微落后于 DeepSeek-V3（37A671B），但激活参数量只有后者的一半。

“Llama 4 的架构很复杂，有不少新特性，但如果你要用 40T token 来训练一个模型，总得经过一系列 sanity check（合理性验证）吧。所以，我认为底模本身其实是没问题的（除非是推理实现上还有 bug）。”randomfoo2 还提到，Llama 3 最初的 IT 版本其实也不怎么样，直到 3.1 才真正打磨出色。

“我觉得 Llama 4 还是很有潜力的，但我会再等等，不着急去微调或深入研究，因为肯定还会有一堆 bug。说真的，我上周才刚在给 Phi 4 写训练器时发现了新 bug。”randomfoo2 说道。”randomfoo2 说道。

网友“dionysio211”则一直在定期查看 vLLM 和 llama.cpp 的提交记录，表示他们现在确实还在不断修复和优化中。“我用 LM Studio 的 Scout 版本试了一下，表现还不错。我在 6800XT 和 7900XT 上用 Vulkan 和 ROCm 大概能跑到 10 tokens/s，社区版本和 Unsloth 的版本表现也差不多。我确实觉得 Scout 应该排名高于 Mistral Small 和 Gemma 3 27B，希望后续发布能进一步打磨这些版本。”

当地时间 4 月 8 日，独立分析人工智能模型和托管提供商 Artificial Analysis 复现了 Meta 声称的 MMLU Pro 和 GPQA Diamond 测试集得分，并声称，“我们依然认为 Scout 和 Maverick 是非常优秀的开源模型，对开放权重 AI 生态具有重要价值。”

这次所有测试均基于 Hugging Face 发布的 Llama 4 权重版本，覆盖多个第三方云平台。其评测结果并未使用提供给 LMArena 的实验版 chat-tuned 模型（Llama-4-Maverick-03-26-Experimental）。做出的改变是接受了 Llama 4 所采用的回答格式 “The best answer is A” 作为有效答案。

AI 研究机构 Epoch 也表示亲自评估了 Llama 4，结果显示：在 GPQA Diamond 测试中，Maverick 和 Scout 的得分分别为 67% 和 52%，与 Meta 报告的 57% 和 69.8% 相近。在 MATH Level 5 测试中，Maverick 和 Scout 的得分分别为 73% 和 62%。结论是：Maverick 与领先的开放式或低成本型号相比具有竞争力，并且均优于 Llama 3。