关闭导航

包含标签"灾难性过度训练"的内容

大语言模型过度预训练或致性能下降 存在灾难性过度训练拐点
AI妹 1 个月前 9 0

近日,来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究人员揭示了一个关于大语言模型(LLMs)训练的新发现:并不是预训练的数据越多,模型的表现就越好。相反,他们指出,过度的预训练可能会

新研究揭示大语言模型过度预训练致灾难性性能下降需适度训练调整
AI妹 1 个月前 9 0

近日,來自卡內基梅隆大學、斯坦福大學、哈佛大學和普林斯頓大學的研究人員揭示了一個關於大語言模型(LLMs)訓練的新發現:並不是預訓練的數據越多,模型的表現就越好。相反,他們指出,過度的預訓練可能會