近日，加州大学圣克鲁兹分校的一项研究揭示了ChatGPT等大模型“变笨”的背后原因。研究指出，由于大模型在训练时期见识过很多任务示例，给人一种AI拥有零样本或少样本能力的错觉。然而，随着时间的推移，人们开始提出更多新问题，AI表现逐渐退化。
对此，有学者指出，大模型训练后参数冻结，人们不断提出新的任务，也就是输入分布不断变化。如果模型不能适应这种变化，就会表现成能力慢慢退化。
以代码问题为例，编程语言还在持续发展变化，迟早有一天效率会低到不可接受。这是所有不具备持续学习能力模型的命运。
研究团队评估了12种模型，发现它们都存在类似问题，即在训练截止之前的任务上表现明显更好。对此，团队采用4种方法来测量任务污染程度，包括检查训练数据、提取任务示例、成员推断以及按时间顺序分析。
最后团队得出结论：由于任务污染，闭源模型可能会在零样本或少样本评估中表现的比实际好，特别是经过RLHF微调的模型。污染的程度仍不清楚，因此建议谨慎行事。
这项研究提醒我们，AI的“变笨”并非是其本身能力的退化，而是因为世界在不断变化，而AI的训练数据和任务已经不再匹配。为了解决这个问题，我们需要更多地关注模型的持续学习能力，以及如何适应不断变化的环境和任务需求。同时，公开训练数据也是解决任务污染问题的一种有效方法。只有当更多的数据被公开并用于研究和开发，我们才能更好地理解AI的能力和局限性，并找到更好的解决方案。
原创文章，作者：happy，如若转载，请注明出处：https://www.kejixun.com/article/614232.html
