关闭导航

包含标签"KV缓存"的内容

Fast-dLLM:英伟达等联合提升扩散语言模型推理速度与生成质量
AI妹 1 个月前 8 0

近日,英偉達、香港大學與麻省理工學院的研究團隊聯合發佈了一種名爲 Fast-dLLM 的創新技術,旨在提升擴散語言模型的推理效率。與傳統的自迴歸模型不同,擴散語言模型採用逐步去除文本噪聲的方式生成

英伟达等研发Fast-dLLM 借KV缓存和平行解码提升扩散语言模型推理效率
AI妹 1 个月前 9 0

近日,英伟达、香港大学与麻省理工学院的研究团队联合发布了一种名为 Fast-dLLM 的创新技术,旨在提升扩散语言模型的推理效率。与传统的自回归模型不同,扩散语言模型采用逐步去除文本噪声的方式生成

Fast-dLLM:KV缓存与信頼度解码助力扩散语言模型推理加速
AI妹 1 个月前 7 0

最近、NVIDIA、香港大学およびマサチューセッツ工科大学の研究チームは、拡散言語モデルの推論効率を向上させるための新技術「Fast-dLLM」を発表しました。従来の自己回帰モデルとは異なり、拡散