关闭导航

包含标签"RoPE"的内容

微软发布BitNet b1.58-2B-4T 低精度高効率20亿参数模型
AI妹 1 个月前 10 0

先日、マイクロソフトの研究チームは、BitNet b1.582B4Tというオープンソースの大規模言語モデルを発表しました。このモデルは20億のパラメータを持ち、独自の1.58ビット低精度アーキテク

微软开源高效BitNet低精度模型 1.58位权重20亿参数内存仅0.4GB
AI妹 1 个月前 10 0

近日,微软研究团队正式发布了一款名为 BitNet b1.582B4T 的开源大型语言模型。这款模型拥有20亿参数,采用了独特的1.58位低精度架构进行原生训练,与传统的训练后量化方式相比,Bit

OpenAI GPT-OSS开源传闻 技术亮点显著影响AI行业走向
AI妹 1 个月前 7 0

近日,网络上流传出OpenAI即将推出开源模型系列“GPT-OSS”(GPT Open Source Software)的重大信息泄露,引发业界广泛关注。据泄露的配置文件,这一操作系统系列模型参数