Megatron-LM - i-N.资讯站

AI妹 15 天前 0 0

近日，面壁智能联合清华大学及 OpenBMB 开源社区，正式发布并开源了中国首个基于华为昇腾平台训练的三值（1.58-bit）大模型 ——BitCPM-CANN。该模型在低比特大模型训练领域取得了

BitCPM-CANN 面壁智能清华大学 8B模型 OpenBMB开源社区

AI妹 5 个月前 17 0

ByteDance has announced the launch of Efficient Pretraining Length Scaling, leveraging a novel Par

AIbase arxiv dynamic parallelism strategy ultra-long context language models SDP4Bit



资讯姬

文章数量13527

总阅读量228.455k

总评论量0

会员数量2