开源

Meta发布Llama 4：开源AI新巨头震撼登场！

在OpenAI与谷歌为争夺最佳生成式人工智能（GenAI）模型激战正酣之时，Meta终于苏醒，推出全新Llama 4系列模型，并且完全开源，这下AI圈可热闹啦！

Llama 4究竟是什么“宝藏”？

Llama 4可不是单枪匹马的一个大语言模型（LLM），而是一个“大家族”。Meta发布的这一系列包含多个不同规模的AI模型，个个都是“多面手”，支持多语言和多模态功能。

关键要点速览

生态先锋：Llama 4是Llama生态系统中首个开放权重、原生多模态的模型，这意味着开发者有更多的发挥空间。
架构优势：采用混合专家（MoE）架构，就像给模型配备了一群各有所长的“智囊团”，按需激活，提升效率和性能。
三款重磅成员
- Llama 4 Scout（侦察兵）：拥有170亿活跃参数和16位“专家”，擅长处理长文本，上下文窗口高达1000万令牌，堪称行业“一骑绝尘”。
- Llama 4 Maverick（小牛）：同样170亿活跃参数，但配备128位“专家”，在多模态性能上表现卓越，文本与图像交互处理能力超强。
- Llama 4 Behemoth（巨兽）：2880亿活跃参数，16位“专家”，作为教师模型还在紧张训练中，潜力无限。
超长上下文窗口：1000万令牌的上下文窗口是什么概念？差不多相当于75本教科书或者一整套百科全书的信息量，处理长文本和复杂任务简直得心应手。
实力碾压对手：在各类基准测试中，Llama 4把GPT-4o、Gemini 2.0和DeepSeek v3等竞争对手远远甩在身后，实力有目共睹。

模型及其超能力

Llama 4 Scout（侦察兵）

参数详情：170亿活跃参数、16位专家，总参数达1090亿。
核心亮点
- 超长窗口：1000万令牌的上下文窗口，在多文档摘要、长代码推理和图像定位等方面表现惊艳，行业内无出其右。
- 硬件友好：经过Int4量化优化，单个NVIDIA H100 GPU就能轻松“驾驭”。
- 性能卓越：在基准测试中，轻松击败Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1等竞品。

Llama 4 Maverick（小牛）

参数详情：170亿活跃参数、128位专家，总参数4000亿。
核心亮点
- 多模态王者：文本与图像融合处理能力堪称一流，多模态性能领先同类产品。
- 高效推理：仅用一半的活跃参数，在推理和编码能力上就能与DeepSeek v3比肩。
- 灵活部署：既能在单个H100主机上运行，也支持分布式推理。
- 实力超群：在基准测试中，把GPT-4o和Gemini 2.0 Flash远远甩在身后。

Llama 4 Behemoth（巨兽）（预览版）

参数详情：2880亿活跃参数、16位专家，总参数约2万亿。
核心亮点
- 教师担当：作为蒸馏的教师模型，暂未正式发布，但已备受期待。
- 学霸实力：在STEM基准测试（如MATH-500、GPQA Diamond）中，力压GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro等强劲对手。

架构与训练的创新秘籍

混合专家（MoE）架构

MoE架构就像一个智能“调度中心”，每个令牌只需激活部分专家，大大提升了运行效率。以Llama 4 Maverick为例，每层有128个路由专家和1个共享专家协同工作。而且，采用FP8训练技术，在32K个GPU上，Behemoth的运算速度可达390 TFLOPs/GPU，效率飙升！

原生多模态（早期融合）

Llama 4将文本和视觉“合二为一”，通过联合预训练打造统一的骨干架构。基于MetaCLIP的视觉编码器，还针对LLM进行了微调，对多图像输入的支持也十分出色，预训练处理48张图像，测试时最多可处理8张。

训练技巧大揭秘

MetaP动态调优：动态调整超参数，比如学习率和初始化参数，让模型训练更加智能。
训练中增强：借助专门的数据集，将上下文窗口扩展到1000万令牌，不断提升模型的“记忆力”。
训练后优化：采用轻量级SFT、在线RL到轻量级DPO的优化流程，还通过硬提示过滤，剔除50%的“简单”数据，提升模型的推理能力，配合自适应难度缩放的连续RL训练，让模型持续进化。

数据与多语言支持

Llama 4的数据规模堪称海量，拥有超过30万亿个令牌，是Llama 3的两倍，涵盖文本、图像和视频等多种类型。支持多达200种语言，其中100多种语言的令牌数超过10亿，真正做到了“沟通无国界”。

基准测试与性能表现

Llama 4在各个领域都展现出了超强的实力：

全能冠军：无论是视觉、文本、推理、编码还是多语言任务，Llama 4都名列前茅。
多模态理解大师：它可不只是机械地处理文本，对图像、文档和图表的理解也十分到位。
性价比之王：花小钱办大事，用亲民的成本实现顶级的性能。
长文本处理专家：超长的上下文窗口，让它在处理大量信息时游刃有余，总结归纳、深度推理都不在话下。
困难任务“杀手”：在GPQA和DocVQA等极具挑战性的基准测试中，Llama 4也能轻松应对。

如何“把玩”Llama 4？

Llama 4完全开源，使用方式多种多样：

下载渠道：可以在llama.com和Hugging Face上免费下载，轻松获取模型资源。
Meta AI集成：在WhatsApp、Messenger、Instagram Direct和Meta.AI中，都能体验到Llama 4的强大功能。
API密钥：OpenRouter上提供免费的API密钥，方便开发者进行二次开发和集成。

Meta的Llama 4 Scout、Maverick和Behemoth全面开源，高效又强大，把Gemini 2.0和DeepSeek v3等竞争对手都比下去了。凭借超大的上下文窗口、多模态的智慧和亲民的成本，它为程序员、创作者和研究者带来了全新的可能。