关闭导航

包含标签"vLLM推理框架"的内容

AMD发布vLLM-ATOM插件 显著优化主流国产大模型在其GPU上的推理性能
AI妹 28 天前 1 0

AMD近日正式发布了专为大语言模型部署设计的vLLM-ATOM插件。该插件旨在不改变现有工作流的前提下,显著优化DeepSeek-R1、Kimi-K2 等主流国产大模型在AMD硬件上的推理性能。