别再卷数据了,LLM也怕「过劳死」!CMU等揭秘灾难性过度训练

别再卷数据了,LLM也怕「过劳死」!CMU等揭秘灾难性过度训练

新智元报道编辑:KingHZ【新智元导读】颠覆LLM预训练认知:预训练token数越多,模型越难调!CMU、斯坦福、哈佛、普林斯顿等四大名校提出灾难性过度训练。如果训练数据越多那么LLM越好。这到底对不对?不对!增加更多的预训练数据来

14小时前10