DeepSeek完成500亿融资后首次开源,新工程方案让模型推理提效降本

【导语:6月27日,完成500亿融资的DeepSeek首次放出开源新成果,推出新模型并开源推测解码框架DSpark及训练框架DeepSpec,有望带来更快更低成本的推理体验。】


序号1

开源新成果:模型与框架齐发

今日,DeepSeek开源了一套让现有模型跑得更快的工程方案,推出DeepSeek-V4-Pro-DSpark、DeepSeek-V4-Flash-DSpark模型,还开源推测解码框架DSpark以及推测解码训练框架DeepSpec。

序号2

DSpark:提升单用户生成速度60%-85%

根据论文,将DSpark部署在DeepSeek-V4线上服务系统时,有效减少了无效校验带来的算力浪费。相较于成熟的生产基线方案(MTP-1),在保持整体吞吐不变的前提下,DSpark把单用户生成速度提升60%-85%,还避免了在严格交互时延约束下吞吐率大幅滑坡,推高了整套服务系统的帕累托最优边界。

DeepSeek-V4-Pro-DSpark和DeepSeek-V4-Flash-DSpark在原有版本基础上增加推测解码模块,用以加快推理速度、降低成本。

序号3

攻克技术难点:结合高吞吐与自适应校验

当前主流并行草稿器存在草稿后续内容通过率快速下滑、高并发服务场景下整体吞吐率大幅下降等问题。为此,DeepSeek提出DSpark推测解码框架,把高吞吐并行生成与自适应、感知负载的校验机制结合在一起。

DSpark采用半自回归架构,缓解末尾内容通过率衰减问题;引入置信度调度校验机制,为每一条请求动态调整校验长度,在多领域离线基准测试中能显著提升有效通过序列长度。

序号4

DeepSpec:支持多算法训练草稿模型

DeepSpec是用于训练和评估推测性解码草稿模型的全栈代码库,包含数据准备工具、草稿模型实现、训练代码和评估脚本,支持MIT许可。

其工作流程按顺序运行各个阶段,目前支持DSpark、DFlash和Eagle3三个草稿模型,还可供开发者和企业为Qwen3、Gemma等模型训练草稿模型。

编辑观点:DeepSeek此次开源成果含金量高,在推理优化赛道率先落子,有望推动行业降低推理成本、提升效率,在大模型系统博弈中占得先机。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值