沃资讯
科技 财经 汽车 游戏 数码 资讯 商业

Meta发布Llama 4系列AI,混合专家架构能否助其效率飙升?

2025-04-06来源:ITBEAR编辑:瑞雪

meta近期推出了其最新的Llama 4系列AI模型,这一系列包括了Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth三款模型。据meta透露,这些模型均经过了庞大的未标注文本、图像和视频数据的训练,旨在赋予它们广泛的视觉理解能力。

目前,meta已将Scout和Maverick两款模型上架至Hugging Face平台。而Behemoth模型仍在紧锣密鼓的训练中。Scout模型能够在单个英伟达H100 GPU上运行,而Maverick则需要更高配置的英伟达H100 DGX AI平台或性能相当的设备。

值得注意的是,Llama 4系列是meta首次采用混合专家(MoE)架构的模型。这种架构通过将数据处理任务分解为多个子任务,再将这些子任务分配给更小的、专门化的“专家”模型,从而在训练和回答用户查询时展现出更高的效率。例如,Maverick模型拥有4000亿个参数,但在128个“专家”模型中,只有170亿个参数处于活跃状态。

相比之下,Scout模型拥有170亿个活跃参数,分布在16个“专家”模型中,总参数数为1090亿个。尽管Llama 4系列模型在性能上有所提升,但它们并非像OpenAI的o1和o3-mini那样的“推理模型”。推理模型会对答案进行事实核查,通常能更可靠地回答问题,但响应时间相对较长。

meta内部测试显示,Maverick模型在通用AI助手和聊天等应用场景中表现出色,尤其在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试等方面,其性能超过了OpenAI的GPT-4和谷歌的Gemini 2.0等模型。然而,与谷歌的Gemini 2.5 Pro、Anthropic的Claude 3.7 Sonnet和OpenAI的GPT-4.5等更强大的最新模型相比,Maverick仍有一定的提升空间。

Scout模型则擅长总结文档和基于大型代码库进行推理。该模型支持处理1000万个词元,这意味着它一次能够处理数百万字的文本。meta还预告了其Behemoth模型。据透露,Behemoth拥有2880亿个活跃参数,分布在16个“专家”模型中,总参数数接近2万亿个。meta内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth的表现优于GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro,但略逊于Gemini 2.5 Pro。

“祖冲之三号”同款芯片赋能!我国超导量子计算机“天衍-287”搭建完成并开放服务
据了解,该量子计算系统具备“量子计算优越性”能Q力,处理特定问题的速度比目前最快的超级计算机快4.5亿倍,未来将接入“天衍”量子计算云平台并首次面向全球开放应用服务,这也将是我国首个具备“量子计算优越性”的量…

2025-11-14

小天互连IM系统:打破政企信息孤岛 驱动一体化协作新变革
某省级政务大厅在信创升级中,通过小天互连IM系统实现了与政务服务平台、电子证照系统的无缝对接,群众办事进度可直接通过即时通讯推送,办理效率提升50%,印证了其国产化集成的稳定性。 从国产化生态适配到开放 A…

2025-11-14

虚拟化与超融合:从架构到应用,一文读懂如何选择适合的IT方案
超融合平台通常基于成熟的虚拟化技术,例如它可能内置虚拟机管理功能,但更强调整体资源的统一管理。性能上,虚拟化可能因资源竞争而出现波动,而超融合的分布式存储设计可以提供更一致的I/O性能,特别是在高并发场景下,…

2025-11-14

安科瑞ASCB3-80m智能微断:全参量监测+远程操控,筑牢低压配电安全防线
智能微型断路器配合智能网关使用,对用电线路的关键电气参数,如电压、电流、功率、温度、漏电、能耗等进行实时监测,具有远程操控、异常预警、事故跳闸告警、电能计量统计、故障定位等功能。ASCB3-80m 系列智能…

2025-11-14

杭州上城第三批50个“人工智能+”场景发布 涵盖多领域促发展
11月13日,杭州市上城区第三批“人工智能+”机会场景发布会暨场景供需对接会活动举行,推出50个高价值场景,涵盖社会治理、金融服务、民生服务、城市管理、智能建造、文化旅游、时尚消费等多个热门领域。如,由上城…

2025-11-14

WebRTC技术赋能物联网卡:解锁工业医疗驾驶毫秒级低时延通信新路径
WebRTC(网页实时通信)技术与物联网卡的深度融合,正通过 “协议优化 + 硬件适配 + 网络升级”,破解毫秒级响应难题。本文基于行业实践,解析 WebRTC 技术原理、物联网卡协同路径及场景落地效果,为…

2025-11-13

昕锐CL系列激光测距模块:定制化驱动低空经济场景变革新引擎
结语:定制化,是技术普惠的终极路径当测距模块从“标准化商品”进化为“场景化服务”,昕锐CL系列不仅解决了无人机与吊舱的“精准降本”难题,更重新定义了技术与需求的关系:技术突破的价值,不在于参数的堆砌,而在于…

2025-11-13

企业展厅多媒体设备保养指南:从日护到年检的分层维护策略
企业展厅多媒体设备保养频率需按“基础养护+定期检查+深度维护”分层设定,核心频率为每日、每周、每月、每季度,部分设备需年度专业维保。检查设备开机状态,测试核心功能(显示、音响、互动响应)是否正常。 请专业人…

2025-11-13

SK海力士VFO工艺打造HBS技术,为移动设备AI性能提升带来新突破
据闪德资讯获悉,SK海力士正在研发结合移动DRAM和NAND的高带宽存储(HBS)技术,可提高智能手机和平板电脑等移动设备的AI性能。 相比HBM使用的硅通孔(TSV)技术,VFO无需穿孔,成本更低、良率更高…

2025-11-12

2025金砖大赛大数据分析赛项落幕 多元力量共促数智化人才培养新篇章
新道科技助理总裁唐梦彬在致辞中表示,大赛把企业数智化转型过程中的业务模式、典型场景与大数据分析技术相结合,体现行业和企业对人员技能的最新标准,让师生深入了解当前数智化企业的运营和管理模式,提升大数据分析的理…

2025-11-12