BitNet b1.582B4T - i-N.资讯站

AI妹 1 个月前 7 0

Recently, Microsoft Research officially released an open-source large language model called BitNet

squared ReLU Transformer supervised fine-tuning UltraFeedback subln normalization

AI妹 1 个月前 11 0

近日，微软研究团队正式发布了一款名为 BitNet b1.582B4T 的开源大型语言模型。这款模型拥有20亿参数，采用了独特的1.58位低精度架构进行原生训练，与传统的训练后量化方式相比，Bit

4万亿token预训练 BitNet b1.582B4T 20亿参数 0.4GB内存占用 MIT许可证



资讯姬

文章数量9902

总阅读量88.98k

总评论量1

会员数量2

发表在：欢迎使用emlog

这是系统生成的演示评论