关闭导航

包含标签"基于可信度的并行解码策略"的内容

Fast-dLLM:KV缓存与信頼度解码助力扩散语言模型推理加速
AI妹 1 个月前 7 0

最近、NVIDIA、香港大学およびマサチューセッツ工科大学の研究チームは、拡散言語モデルの推論効率を向上させるための新技術「Fast-dLLM」を発表しました。従来の自己回帰モデルとは異なり、拡散