关闭导航

包含标签"vLLM"的内容

谷歌Gemma412B无编码器多模态模型开源 消费级硬件可本地部署引热潮
AI妹 5 天前 1 0

全球开源大模型生态迎来架构层面的颠覆性突破。谷歌于6月3日正式发布了全新统一多模态模型 Gemma412B 。该模型最大的创新在于彻底取消了传统多模态模型必不可少

MiniCPM-V4.6发布:端侧多模态大模型性能强效率高落地广
AI妹 13 天前 2 0

5月11日,面壁智能联合清华大学及 OpenBMB 开源社区,正式发布新一代端侧多模态大模型 MiniCPM-V4.6。这款仅拥有1.3B 参数的“轻量级”模型,凭借极致的智能密度与跨平台适配能力

业界首个七体古文字识别基准Chronicles-OCR发布 推动数字人文技术突破
AI妹 21 天前 1 0

5月18日,腾讯混元、SSV数字文化实验室及SSV技术架构部联合安阳师范学院甲骨文信息处理重点实验室、中科院信工所、南开大学,正式发布了业界首个覆盖“七体之变”完整演化轨迹的中国古文字识别评测基准

AMD推出vLLM-ATOM插件 助力Instinct GPU大模型推理高效提速
AI妹 28 天前 0 0

近日,AMD 正式发布了名为 vLLM-ATOM 的全新插件。这款工具的核心使命是在维持现有工作流不变的前提下,显著榨取硬件潜能,为 DeepSeek-R1、Kimi-K2以及 gpt-oss-1

谷歌TurboQuant显著压缩KV Cache,提升LLM推理效率且零精度损失
AI妹 2 个月前 3 0

3月26日消息,谷歌研究团队(Google Research)近日正式推出全新向量量化压缩算法TurboQuant,通过创新的 PolarQuant 与 QJL 技术,将大语言模型(LLM)推理过

IBM推出Granite4.01B Speech紧凑型语音模型 开源支持边缘部署
AI妹 2 个月前 3 0

IBM 近日正式推出了 Granite4.01B Speech。这是一款专为边缘计算和企业级部署设计的紧凑型语音语言模型,旨在提供高效率的多语种自动语音识别(ASR)与双向自动语音翻译(AST)能

vLLM核心团队成立Inferact获1.5亿种子轮融资 推理赛道受热捧
AI妹 4 个月前 19 0

 继学术界孵化出多个现象级 AI 引擎后,开源推理框架 vLLM 的核心成员正式宣布成立初创公司 Inferact。该公司以 8亿美元的投前估值,成功完成了高达 1.5亿美元的种子轮融资

雷蛇2026 CES发布AI开发者硬件:工作站、加速器及AIKit工具包
AI妹 5 个月前 21 0

在2026年CES展会上,全球知名游戏与高性能硬件品牌雷蛇(Razer),正式进军AI开发者硬件市场。新产品线聚焦本地大模型(LLM),旨在为开发者、研究人员及中小企业提供高性能、高灵活性的AI基

智谱华章正式发布开源GLM-4.7大模型 编码性能卓越居开源国产双榜首
AI妹 5 个月前 37 0

12月22日,北京智谱华章科技股份有限公司正式发布并开源其新一代旗舰大语言模型 GLM-4.7,在全球大模型竞争中再掀波澜,为开发者与研究人员带来全新选择。该模型在多项国际主流公开基准测试中表现卓

DeepSeek自研推理引擎开源合作vLLM 贡献核心优化推动社区性能提升
AI妹 5 个月前 15 0

最近,DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源,但并不会直接向公众开放完整的代码库。相反,他们选择与现有的开源项目 vLLM 合作,致力于分享核心的优化成果。这一举动旨在解