
【导语:6月27日,完成500亿融资的DeepSeek首次放出开源新成果,推出新模型并开源推测解码框架DSpark及训练框架DeepSpec,有望带来更快更低成本的推理体验。】

今日,DeepSeek开源了一套让现有模型跑得更快的工程方案,推出DeepSeek-V4-Pro-DSpark、DeepSeek-V4-Flash-DSpark模型,还开源推测解码框架DSpark以及推测解码训练框架DeepSpec。

根据论文,将DSpark部署在DeepSeek-V4线上服务系统时,有效减少了无效校验带来的算力浪费。相较于成熟的生产基线方案(MTP-1),在保持整体吞吐不变的前提下,DSpark把单用户生成速度提升60%-85%,还避免了在严格交互时延约束下吞吐率大幅滑坡,推高了整套服务系统的帕累托最优边界。
DeepSeek-V4-Pro-DSpark和DeepSeek-V4-Flash-DSpark在原有版本基础上增加推测解码模块,用以加快推理速度、降低成本。

当前主流并行草稿器存在草稿后续内容通过率快速下滑、高并发服务场景下整体吞吐率大幅下降等问题。为此,DeepSeek提出DSpark推测解码框架,把高吞吐并行生成与自适应、感知负载的校验机制结合在一起。
DSpark采用半自回归架构,缓解末尾内容通过率衰减问题;引入置信度调度校验机制,为每一条请求动态调整校验长度,在多领域离线基准测试中能显著提升有效通过序列长度。

DeepSpec是用于训练和评估推测性解码草稿模型的全栈代码库,包含数据准备工具、草稿模型实现、训练代码和评估脚本,支持MIT许可。
其工作流程按顺序运行各个阶段,目前支持DSpark、DFlash和Eagle3三个草稿模型,还可供开发者和企业为Qwen3、Gemma等模型训练草稿模型。
编辑观点:DeepSeek此次开源成果含金量高,在推理优化赛道率先落子,有望推动行业降低推理成本、提升效率,在大模型系统博弈中占得先机。
3696

被折叠的 条评论
为什么被折叠?



