关闭导航

包含标签"混合变换器专家架构(MoT)"的内容

字节跳动重磅发布BAGEL:MoE架构开源多模态模型性能领先同类多任务
AI妹 1 个月前 9 0

字節跳動Seed團隊在Hugging Face平臺重磅發佈BAGEL,一款基於混合專家(MoE)架構的開源多模態基礎模型,擁有14億總參數和7億活躍參數。BAGEL在數萬億token的交錯多模態數