关闭导航

包含标签"缓存命中率"的内容

Gemini API隐式缓存功能上线 自动触发降本 覆盖2.5Pro/Flash模型
AI妹 1 个月前 9 0

Gemini API推出隱式緩存(Implicit Caching)功能,爲開發者帶來顯著的成本優化體驗。新功能無需開發者手動創建緩存,當請求與先前請求共享共同前綴時,系統將自動觸發緩存命中,提供

Gemini API推出隐式缓存功能 显著优化成本覆盖2.5Pro及Flash模型
AI妹 1 个月前 10 0

Gemini API推出隐式缓存(Implicit Caching)功能,为开发者带来显著的成本优化体验。新功能无需开发者手动创建缓存,当请求与先前请求共享共同前缀时,系统将自动触发缓存命中,提供

xLLM社区12.6办首届Meetup 共建开源AI Infra生态并展自研引擎
AI妹 1 个月前 14 0

成立仅三个月的xLLM社区宣布将于 12 月 6 日举办首届线下Meetup,主题“共建开源AI Infra生态”。活动将展示自研推理引擎xLLM-Core,公开对比数据:在同级GPU上,MoE、