关闭导航

包含标签"OLMo-1B模型"的内容

大语言模型过度预训练或致性能下降 存在灾难性过度训练拐点
AI妹 1 个月前 9 0

近日,来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究人员揭示了一个关于大语言模型(LLMs)训练的新发现:并不是预训练的数据越多,模型的表现就越好。相反,他们指出,过度的预训练可能会