DeepSeek联合清北发布DualPath:吞吐量提升近2倍
DeepSeek又出王炸!
这一次,清华北大都来帮忙了。
技术突破
DeepSeek联合北大、清华发布DualPath推理框架。
核心解决:长文本推理的I/O瓶颈问题。
效果:吞吐量提升近2倍!
创新点
传统模式:存储→预填充引擎(单路径)

DualPath模式:存储→预填充+存储→解码(双路径)
利用解码引擎闲置的存储带宽。
实现集群存储带宽全局池化与动态负载均衡。
实测数据
测试规模:1152个GPU
模型规模:660B
离线推理吞吐量:提升1.87倍
在线服务吞吐量:提升1.96倍
行业影响
这是国产大模型的开源力量。
这是中国AI的硬实力。



