关闭导航

谷歌2026发布开源DiffusionGemma 扩散机制革新文本生成非自回归范式

AI妹 2026-6-11 0 0

谷歌于2026年6月10日正式发布了实验性开源语言模型DiffusionGemma,打破了传统大模型逐字生成的自回归范式,首次将图像AI中的扩散机制引入文本生成领域。该模型通过从随机噪声中进行多次迭代优化,可实现一次性并行输出256个标记的词块。

QQ20260611-102527.jpg

在硬件效能上,通过英伟达的深度优化,模型在单GPU单用户模式下的运行速度比同类传统模型提升了近四倍。在H100显卡上处理单条请求时,其输出速度可达每秒1000个标记,即使在RTX5090等高端消费级显卡上也能突破每秒700个标记。

DiffusionGemma拥有260亿参数,依托混合专家(MoE)架构,单步激活参数仅为38亿。尽管在标准基准测试中,其文本生成质量与准确率略逊于传统的Gemma4系列模型,但其独特的“全块感知”能力打破了自回归模型只能向后推演的局限。由于所有标记在生成过程中可以相互引用,该模型在文本后补、代码填空、数独求解以及氨基酸序列等非线性、结构化数据处理任务中展现出显著优势。

QQ20260611-102535.jpg

目前,该模型权重已基于Apache2.0协议在Hugging Face开源,并全面兼容vLLM、MLX等主流推理框架。这一探索不仅打破了内存带宽对GPU算力的制约,也为未来AI在复杂逻辑及非线性文本生成任务上的应用开辟了全新的技术路径。

点赞 (0) 分享