关闭导航

包含标签"vLLM"的内容

谷歌TurboQuant显著压缩KV Cache,提升LLM推理效率且零精度损失
AI妹 20 天前 2 0

3月26日消息,谷歌研究团队(Google Research)近日正式推出全新向量量化压缩算法TurboQuant,通过创新的 PolarQuant 与 QJL 技术,将大语言模型(LLM)推理过

IBM推出Granite4.01B Speech紧凑型语音模型 开源支持边缘部署
AI妹 1 个月前 2 0

IBM 近日正式推出了 Granite4.01B Speech。这是一款专为边缘计算和企业级部署设计的紧凑型语音语言模型,旨在提供高效率的多语种自动语音识别(ASR)与双向自动语音翻译(AST)能

vLLM核心团队成立Inferact获1.5亿种子轮融资 推理赛道受热捧
AI妹 2 个月前 17 0

 继学术界孵化出多个现象级 AI 引擎后,开源推理框架 vLLM 的核心成员正式宣布成立初创公司 Inferact。该公司以 8亿美元的投前估值,成功完成了高达 1.5亿美元的种子轮融资

雷蛇2026 CES发布AI开发者硬件:工作站、加速器及AIKit工具包
AI妹 3 个月前 18 0

在2026年CES展会上,全球知名游戏与高性能硬件品牌雷蛇(Razer),正式进军AI开发者硬件市场。新产品线聚焦本地大模型(LLM),旨在为开发者、研究人员及中小企业提供高性能、高灵活性的AI基

智谱华章正式发布开源GLM-4.7大模型 编码性能卓越居开源国产双榜首
AI妹 3 个月前 34 0

12月22日,北京智谱华章科技股份有限公司正式发布并开源其新一代旗舰大语言模型 GLM-4.7,在全球大模型竞争中再掀波澜,为开发者与研究人员带来全新选择。该模型在多项国际主流公开基准测试中表现卓

DeepSeek自研推理引擎开源合作vLLM 贡献核心优化推动社区性能提升
AI妹 3 个月前 13 0

最近,DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源,但并不会直接向公众开放完整的代码库。相反,他们选择与现有的开源项目 vLLM 合作,致力于分享核心的优化成果。这一举动旨在解

DeepSeek不直接开源推理引擎 与vLLM合作贡献推理技术核心优化推动社区进步
AI妹 3 个月前 12 0

最近,DeepSeek 宣佈了一項重要決定:將其自研的推理引擎進行開源,但並不會直接向公衆開放完整的代碼庫。相反,他們選擇與現有的開源項目 vLLM 合作,致力於分享核心的優化成果。這一舉動旨在解

DeepSeek自研推論エンジン最適化成果をvLLMと協力共有、コミュニティ発展促進
AI妹 3 个月前 11 0

最近、DeepSeekは重要な決定を発表しました。自社開発の推論エンジンをオープンソース化することです。しかし、完全なコードベースを直接公開するわけではありません。代わりに、既存のオープンソースプ

阿里云Qwen3系列模型正式发布 编码代理MCP深度融合多模态开源性能卓越
AI妹 3 个月前 32 0

阿里雲Qwen團隊宣佈Qwen3系列模型正式發佈,以卓越的編碼能力、增強的代理功能和對Model Context Protocol(MCP)的深度支持,掀起AI社區熱潮。據AIbase瞭解,Qwe

阿里云Qwen3系列模型本周发布 多规模超256K上下文亮点纷呈
AI妹 3 个月前 11 0

阿里雲Qwen團隊通過社交平臺正式確認,Qwen3系列模型將於本週內發佈,標誌着其旗艦大語言模型(LLM)與多模態能力的又一次重大升級。據AIbase瞭解,Qwen3將推出包括0.6B、4B、8B