沃资讯
科技 财经 汽车 游戏 数码 资讯 商业

NVIDIA Blackwell平台破MLPerf记录:Llama模型吞吐量狂增30倍!

2025-04-03来源:ITBEAR编辑:瑞雪

NVIDIA在最新一轮MLPerf V5.0基准测试中,凭借Blackwell平台大放异彩,展现了其在人工智能领域的卓越实力。

MLPerf,这一由图灵奖得主大卫·帕特森携手谷歌、斯坦福及哈佛大学等重量级机构共同创立的性能基准测试平台,无疑是国际AI领域的权威风向标。它旨在通过标准化测试,全面衡量人工智能硬件、软件及服务的性能表现。

值得注意的是,此次MLPerf更新引入了Llama 3.1 405B,这一庞大且复杂的开放权重模型,无疑为测试增添了极大的挑战。然而,NVIDIA及其合作伙伴却迎难而上,成功提交了Llama 3.1 405B基准测试的结果,成为业界焦点。

在Llama 3.1 405B基准测试中,NVIDIA的GB200 NVL72系统通过72个Blackwell GPU的紧密协作,实现了惊人的性能提升。与H200 NVL8相比,其吞吐量竟高达30倍之多,这一成绩无疑彰显了NVIDIA在GPU技术上的深厚积累。

除了吞吐量的大幅提升,NVIDIA在推理部署的关键指标上也取得了显著进步。首次响应时间(TTFT)和每个输出令牌的时间(TPOT)是衡量用户体验的重要指标。在新的Llama 2 70B Interactive基准测试中,NVIDIA利用8个Blackwell GPU的DGX B200系统,将TPOT缩短了5倍,TTFT降低了4.4倍,为用户带来了更为流畅的体验。

在这一更具挑战性的基准测试中,NVIDIA的表现同样出类拔萃。与使用8个H200 GPU的系统相比,DGX B200系统的性能高出三倍之多,为Llama 2 70B基准测试树立了新的标杆。

NVIDIA的这一系列成就,不仅展示了其在人工智能领域的领先地位,更为行业树立了新的性能标准。随着人工智能技术的不断发展,NVIDIA将继续以技术创新为驱动,推动AI性能的持续提升。

可以预见,NVIDIA的Blackwell平台将在未来的人工智能应用中发挥更加重要的作用,为各行各业带来更加智能、高效的解决方案。

此次MLPerf V5.0基准测试的结果,无疑为NVIDIA在人工智能领域的实力提供了有力的证明。

随着技术的不断进步和应用场景的不断拓展,NVIDIA将继续引领人工智能技术的发展潮流,为人类社会创造更加美好的未来。

“祖冲之三号”同款芯片赋能!我国超导量子计算机“天衍-287”搭建完成并开放服务
据了解,该量子计算系统具备“量子计算优越性”能Q力,处理特定问题的速度比目前最快的超级计算机快4.5亿倍,未来将接入“天衍”量子计算云平台并首次面向全球开放应用服务,这也将是我国首个具备“量子计算优越性”的量…

2025-11-14

小天互连IM系统:打破政企信息孤岛 驱动一体化协作新变革
某省级政务大厅在信创升级中,通过小天互连IM系统实现了与政务服务平台、电子证照系统的无缝对接,群众办事进度可直接通过即时通讯推送,办理效率提升50%,印证了其国产化集成的稳定性。 从国产化生态适配到开放 A…

2025-11-14

虚拟化与超融合:从架构到应用,一文读懂如何选择适合的IT方案
超融合平台通常基于成熟的虚拟化技术,例如它可能内置虚拟机管理功能,但更强调整体资源的统一管理。性能上,虚拟化可能因资源竞争而出现波动,而超融合的分布式存储设计可以提供更一致的I/O性能,特别是在高并发场景下,…

2025-11-14

安科瑞ASCB3-80m智能微断:全参量监测+远程操控,筑牢低压配电安全防线
智能微型断路器配合智能网关使用,对用电线路的关键电气参数,如电压、电流、功率、温度、漏电、能耗等进行实时监测,具有远程操控、异常预警、事故跳闸告警、电能计量统计、故障定位等功能。ASCB3-80m 系列智能…

2025-11-14

杭州上城第三批50个“人工智能+”场景发布 涵盖多领域促发展
11月13日,杭州市上城区第三批“人工智能+”机会场景发布会暨场景供需对接会活动举行,推出50个高价值场景,涵盖社会治理、金融服务、民生服务、城市管理、智能建造、文化旅游、时尚消费等多个热门领域。如,由上城…

2025-11-14

WebRTC技术赋能物联网卡:解锁工业医疗驾驶毫秒级低时延通信新路径
WebRTC(网页实时通信)技术与物联网卡的深度融合,正通过 “协议优化 + 硬件适配 + 网络升级”,破解毫秒级响应难题。本文基于行业实践,解析 WebRTC 技术原理、物联网卡协同路径及场景落地效果,为…

2025-11-13

昕锐CL系列激光测距模块:定制化驱动低空经济场景变革新引擎
结语:定制化,是技术普惠的终极路径当测距模块从“标准化商品”进化为“场景化服务”,昕锐CL系列不仅解决了无人机与吊舱的“精准降本”难题,更重新定义了技术与需求的关系:技术突破的价值,不在于参数的堆砌,而在于…

2025-11-13

企业展厅多媒体设备保养指南:从日护到年检的分层维护策略
企业展厅多媒体设备保养频率需按“基础养护+定期检查+深度维护”分层设定,核心频率为每日、每周、每月、每季度,部分设备需年度专业维保。检查设备开机状态,测试核心功能(显示、音响、互动响应)是否正常。 请专业人…

2025-11-13

SK海力士VFO工艺打造HBS技术,为移动设备AI性能提升带来新突破
据闪德资讯获悉,SK海力士正在研发结合移动DRAM和NAND的高带宽存储(HBS)技术,可提高智能手机和平板电脑等移动设备的AI性能。 相比HBM使用的硅通孔(TSV)技术,VFO无需穿孔,成本更低、良率更高…

2025-11-12

2025金砖大赛大数据分析赛项落幕 多元力量共促数智化人才培养新篇章
新道科技助理总裁唐梦彬在致辞中表示,大赛把企业数智化转型过程中的业务模式、典型场景与大数据分析技术相结合,体现行业和企业对人员技能的最新标准,让师生深入了解当前数智化企业的运营和管理模式,提升大数据分析的理…

2025-11-12