2025年4月6日，Meta正式推出其新一代开源大模型Llama 4系列，包含Llama 4 Scout、Llama 4 Maverick及尚在训练的Llama 4 Behemoth。这一系列首次采用混合专家架构（MoE），支持文本、图像、视频等多模态处理，并在参数规模、推理效率、长上下文窗口等维度实现突破。其中，Scout以1000万token上下文窗口刷新开源纪录，Maverick以4000亿总参数对标GPT-4o，而Behemoth以2万亿参数剑指工业级应用。Meta通过技术革新与开放生态，直面DeepSeek、阿里等竞争，推动AI向多模态、低成本、强推理方向演进。
技术革新：混合专家架构与多模态融合
- 混合专家架构（MoE）的效率革命
Llama 4系列首次采用MoE架构，将任务分解为子模块并由不同“专家”处理，显著降低计算成本。例如：
• Llama 4 Scout：1090亿总参数，仅激活170亿参数，支持单张H100 GPU运行。
• Llama 4 Maverick：4000亿总参数，128个专家模块，推理成本仅GPT-4o的1/23（每百万token 0.19美元）。
• Llama 4 Behemoth：2万亿参数，32000块GPU训练，定位为“新模型的教师”，未来或成为工业级基础设施。
- 原生多模态能力
通过早期融合（Early Fusion）技术，Llama 4将文本、图像、视频数据联合训练，实现跨模态无缝交互。例如：
• 支持单次输入最多48张图像，用于视觉推理与时间序列分析。
• 在ChartQA（图表问答）和DocVQA（文档问答）任务中，准确率超越GPT-4o和Gemini 2.0。 - 超长上下文与训练优化
• 1000万token上下文窗口（Scout）：约15000页文本处理能力，适用于医疗、科研等长文档场景。
• MetaP技术：通过小模型实验推导大模型超参数，节省训练成本。
性能对比：开源与闭源模型的博弈
- 基准测试表现
• Maverick：在MMLU Pro（综合知识测试）得分80.5，超越DeepSeek v3.1，活跃参数仅其一半。
• Behemoth：在数学推理任务MATH-500中准确率达95%，超越GPT-4.5和Claude Sonnet 3.7。 - 行业竞争格局
• DeepSeek的挑战：Meta内部曾设立“作战室”研究DeepSeek的低成本技术，而Llama 4被视为Meta的“回击”。
• 阿里通义千问：全球最大开源模型族群，Qwen2.5-Omni登顶Hugging Face榜单，Meta需在生态广度上追赶。
应用场景与生态布局
- 企业级应用
• 长文档处理（Scout）：法律合同分析、代码库管理。
• 多模态交互（Maverick）：电商商品描述生成、医疗影像诊断辅助。 - 消费者端集成
• Meta AI助手：已在WhatsApp、Messenger等40国上线，支持多语言（英语优先）。
• 创作者工具：视频表情迁移（如字节跳动DreamActor-M1）、广告内容生成。 - 开源与合规限制
• 免费商用：延续Llama 2的开源策略，但欧盟用户因隐私法规受限。
• 企业门槛：月活超7亿的公司需Meta审批，可能影响大规模商业化。
Llama 4的发布不仅是Meta对开源生态的坚守，更是多模态AI迈向实用化的重要一步。尽管在部分基准测试中尚未全面超越竞品，其混合专家架构与开放策略已为行业树立新标杆。随着Behemoth的完善与生态扩展，Meta或将在AI“推理+应用”的下半场中占据关键席位。
发表回复