新浪科技訊 10月13日下午消息，首次螞蟻集團正式開源業界首個高性能擴散語言模型推理框架dInfer。歸模個高

　　據介紹，型螞性在基準測試中，蟻集源業語dInfer將擴散語言模型的團開推理推理速度相比于英偉達擴散模型框架Fast-dLLM提升了10.7倍；在代碼生成任務HumanEval上，dInfer在單批次推理中創造了1011Tokens/秒的內首速度，首次在開源社區中實現擴散語言模型的擴散框架單批次推理速度顯著超越自回歸模型。dInfer的模型工作表明，擴散語言模型具備顯著的首次效率潛力，可以通過系統性的歸模個高創新工程兌現，為通往AGI的型螞性架構路徑提供極具競爭力的選項。

　　在配備8塊NVIDIA H800 GPU的蟻集源業語節點上，dInfer的團開推理性能表現令人矚目：

　　在與先前的dLLM推理方案Fast-dLLM的對比中，dInfer在模型效果持平的內首情況下，平均推理速度（avg TPS）實現了10.7倍的擴散框架巨大提升（681 vs 63.6） ；在代碼生成任務HumanEval上，dInfer在單批次推理中創造了1011 tokens/秒的速度 ；與在業界頂尖的推理服務框架vLLM上運行的、參數量和性能相當的AR模型Qwen2.5-3B相比，dInfer的平均推理速度是其2.5倍（681 vs 277） 。

　　螞蟻集團表示，dInfer連接了前沿研究與產業落地，標志著擴散語言模型從“理論可行”邁向“實踐高效”的關鍵一步。此次開預案，也是誠邀全球的開發者與研究者共同探索擴散語言模型的巨大潛能，構建更加高效、開放的AI新生態。

(責任編輯：娛樂)