联想今日宣布，其首款采用AMD技术的AI大模型训练服务器——联想问天WA7785a G3，在单机部署671B（即满血版）DeepSeek大模型时，成功实现了6708 token/s的极限吞吐量，刷新了单台服务器运行大模型的性能记录。这一成就不仅彰显了联想在AI基础设施领域的深厚技术积累和快速研发响应能力，更在AI算力竞争日益激烈的当下，以卓越的技术实力树立了新的行业标杆。
联想问天WA7785a G3服务器之所以能够达到如此高的性能，得益于联想万全异构智算平台的强大支持。该平台通过一系列创新手段，如访存优化、显存优化、PCIe 5.0全互联架构创新以及精选SGLang框架中性能最优的算子，对大模型从预训练到推理的全过程进行了深度优化。在实测中，该服务器在部署DeepSeek 671B大模型时，最高吞吐量达到了6708 token/s。
在具体应用场景中，联想问天WA7785a G3同样表现出色。在模拟问题对话场景（上下文序列长度分别为128和1K）时，该服务器最高可支持158个并发用户，TPOT为93毫秒，TTFT为2.01秒。而在模拟代码生成场景（上下文序列长度分别为512和4K）时，并发数可达140，TPOT为100毫秒，TTFT为5.53秒。这一性能水平意味着，单台联想问天WA7785a G3服务器足以支撑1500人规模企业的正常使用。
此次性能突破的背后，是联想中国基础设施业务群、联想研究院ICI实验室与AMD的深度合作与协同调优。双方联合设计、共同实现了这一突破，并仍在持续探索深度调优的新方法，以期实现更高的性能突破。这一合作不仅体现了联想与AMD在技术创新上的紧密合作，更展示了双方在AI算力领域的领先地位。
联想问天WA7785a G3服务器的卓越性能，离不开其硬核的硬件配置。该服务器搭载了2颗AMD处理器和8颗AMD新一代Instinct OAM GPU，这些强大的算力引擎为大模型训练、推理等场景提供了坚实的支持。同时，WA7785a G3还拥有超大的显存容量，单颗GPU的HBM3e显存容量高达192GB，总计达1.5TB。这一超大显存使得单机在支持全量模型推理时，仍能保持充足的KV缓存空间，满足大模型并行计算时对跨节点通信的高带宽需求。
联想问天WA7785a G3的独特架构设计也为其卓越性能提供了有力保障。该服务器采用三重独立风道设计，分别针对CPU节点、GPU节点和交换机节点进行精准散热控制，提高了散热效率，确保了服务器的稳定性和可靠性。这一设计不仅有助于最大程度地释放算力潜能，还突破了带宽限制，使得联想问天WA7785a G3成为用户首选的大模型推理服务器。
