关闭导航

包含标签"vLLM技术"的内容

寒武纪完成DeepSeek-V4 Day0适配 提升推理效率支持百万字长上下文助力AI体验
AI妹 1 个月前 3 0

寒武纪公司宣布,他们已成功完成对深度求索公司最新开源 AI 模型 DeepSeek-V4 的 Day 0 适配。此举意味着该模型在发布当天即可实现稳定运行,为用户带来了更高效的人工智能体验。寒武纪

红帽正式推出AI推理服务器 结合vLLM技术赋能混合云高效推理
AI妹 5 个月前 14 0

紅帽公司近期正式推出了紅帽 AI 推理服務器(Red Hat AI Inference Server),這款服務器旨在爲混合雲環境提供更加高效和經濟的 AI 推理服務。通過採用先進的 vLLM 技