Nature最新封面：AI训练AI，也许越来越笨？ - 头条资讯 - Discuz! Board

首页 › 首页 › 头条资讯 ›查看内容

Nature最新封面：AI训练AI，也许越来越笨？

admin 2024-7-25 13:57

摘要: 当前，在愈发火热的大模型行业，Scaling Law 被证明依然奏效。问题是，一旦由人类生成的高质量数据（如书籍、文章、照片、视频等）用尽，大模型训练又该如何进行？目前，一个被寄予厚望的方法是“用大模型自己生成的 ...

当前，在愈发火热的大模型行业，Scaling Law 被证明依然奏效。

问题是，一旦由人类生成的高质量数据（如书籍、文章、照片、视频等）用尽，大模型训练又该如何进行？

目前，一个被寄予厚望的方法是“用大模型自己生成的数据来训练自己”。事实上，如果后代模型的训练数据也从网络中获取，就会不可避免地使用前代模型生成的数据。

然而，来自牛津大学和剑桥大学的研究团队及其合作者，却给这一设想“泼了一盆冷水”。

他们给出了这样一个结论：模型在训练中使用自身生成的内容，会出现不可逆转的缺陷，逐渐忘记真实数据分布，从而导致模型性能下降。

全部评论