DeepSeek团队与北京大学联合攻关,在提升大语言模型推理效率领域取得重大突破。研究团队提出的DSpark技术框架,通过创新性的解码机制,成功破解了高并发场景下模型响应速度与生成质量难以兼顾的行业难题。实测数据显示,该技术使单用户文本生成速度较现有主流方案提升最高达85%,相关成果已发表于最新研究论文。
传统自回归模型在生成文本时,每个新token的产出都需要完整的前向计算过程,这种串行工作模式导致推理延迟随输出长度线性增加。特别是在实时对话等交互场景中,过长的响应时间不仅损害用户体验,更造成GPU算力的闲置浪费。研究团队指出,现有推测解码技术虽尝试通过草稿模型加速,但存在明显缺陷:串行草稿模型生成延迟随候选长度攀升,并行草稿模型则因缺乏token间依赖关系导致大量无效计算。
DSpark框架的核心创新在于构建了"并行生成+顺序校验"的混合架构。其半自回归生成机制在并行生成主干上嵌入轻量级顺序模块,该模块通过两种实现方式——马尔可夫头与RNN头,动态注入前缀依赖信息。实验表明,仅需两层Transformer结构的DSpark模型,在候选token接受长度指标上已超越五层结构的DFlash模型。这种设计既保持了并行生成的高效性,又通过顺序校验确保了生成质量。
针对传统验证机制算力浪费的问题,研究团队开发了置信度调度验证系统。该系统通过硬件感知前缀调度器,实时评估每个请求的成功概率与系统负载,动态调整验证长度。具体而言,模型在每个候选位置输出置信度分数,调度器据此为不同请求分配差异化算力资源,优先处理预期回报高的token。在线上系统测试中,该机制使推理速度提升60%-85%,同时将高并发场景下的吞吐损耗控制在合理范围。
目前,DSpark技术已深度集成至DeepSeek-V4系列模型,在真实线上流量中验证了其有效性。研究团队同步开源了模型检查点与训练框架DeepSpec,该代码库包含Eagle3、DFlash和DSpark等推测解码训练模块,为学术界和产业界提供了完整的技术解决方案。值得注意的是,DeepSeek创始人梁文锋作为核心成员参与了该项研究,其技术积累为项目突破提供了重要支撑。

