DeepSeek又找到突破大模型推理瓶頸的新方法了！

智東西2月27日報道，昨天，DeepSeek發布了一項名為DualPath的全新推理系統方案，直指當前大語言模型在智能體應用場景下遭遇的短板——KV緩存存儲I/O瓶頸。該方案通過引入雙路徑加載機制，顯著提升系統吞吐量，基本消除了KV緩存的I/O開銷。

DualPath的核心創新在于開辟了一條從存儲直通解碼引擎的新通道。KV緩存不再僅由預填充引擎加載，而是可以加載至解碼引擎，再通過計算網絡中的RDMA高效傳輸至預填充端。這一設計不僅緩解了存儲端的壓力，還避免了網絡擁塞，確保延遲敏感型任務不受干擾。

與全局調度器協同后，DualPath實現了動態平衡兩端負載，進一步提升資源利用率。在真實智能體工作負載測試中，DualPath將離線推理吞吐量提升最高達1.87倍，在線服務吞吐量平均提升1.96倍。

在大規模可擴展性方面，DualPath系統在最多1152張GPU上進行了驗證。離線推理從2P4D（2K智能體）擴展到48P96D（48K智能體）實現近線性擴展，任務完成時間基本保持一致。

值得一提的是，與之前DeepSeek發表的許多研究論文類似，這篇論文的第一作者吳永彤同樣是DeepSeek的實習生。吳永彤目前在北京大學攻讀博士學位，師從金鑫教授，主要研究大模型基礎設施相關課題，自2025年8月以來便在DeepSeek系統組工作，曾參與DeepSeek-V3.2的研究。