共计 1893 个字符，预计需要花费 5 分钟才能阅读完成。
日前，Ilya 在 NeurIPS 2024 大会上正式宣布：预训练，已经走到了尽头。这一消息一经发表，便在行业内引起了巨大震动。仅用 16 分钟的演讲，他用简洁而有力的话语，告诉了我们未来 AI 的方向——没有更多的数据可供用来训练模型，我们只能从现有的互联网数据中寻找突破口，推动 AI 持续发展。未来的关键将集中在智能体、合成数据以及推理和计算能力上，这些方向将引领我们进入全新的超级智能时代。
预训练的终结与数据枯竭
一直以来，预训练的模型依赖于海量的数据，这也是推动深度学习快速发展的核心动力之一。然而，随着时间推移，我们逐渐意识到，互联网的数据总量逐渐逼近天花板，不再有明显的增长空间。也就是说，数据，正像能源一样，逐渐变成了我们的“化石燃料”。尽管硬件和算法不断优化，但在数据方面，整个行业已接近极限。这意味着，传统的通过扩大数据规模来提升模型能力的路线，将逐渐失去效果。未来，AI 必须开辟新的突破路子，否则将陷入停滞。
未来的突破点：智能体与推理
那么，下一步，我们该如何突破？Ilya 的观点是，智能体、合成数据以及推理能力将成为新引擎。尤其是超级智能（superintelligence），不仅包括更强的理解和推理能力，还可能拥有自我意识，甚至自主学习的能力。这一时代的到来，将赋予 AI 远超目前的表现，甚至接近甚至超越人类的能力。这不是空穴来风，而是基于深度学习基础上的必然趋势——通过不断扩大模型规模、优化算法，以及构建更复杂的推理机制，最终迈向超级智能体系。
从基础到飞跃：十年前的奠基
在演讲中，Ilya 还展示了自己十年前的演讲 PPT，回顾了那段初心。那是 2014 年的蒙特利尔 NeurIPS，三位年轻的研究者，凭借一份以文本为基础的自回归模型，开启了深度学习的“Scaling Law”。他们采用了 10 层神经网络，训练了海量数据，几乎在几分钟内即可完成任务。通过强调神经网络的速度和规模，他们指出：“只要有一个模型能在不到一秒完成任务，它就可以模拟人类的能力。”这是他们关于深度学习的核心假设——只要模型足够大，训练得足够好，任何复杂的任务都能实现。
Scaling Law 的突破
这份早期的研究，为后来的深度学习奠定了基础。Ilya 指出，成功的关键在于大规模的数据和模型，正如后来的“Scaling Law”所描述的那样：训练更大的模型，使用更丰富的数据集，最终就能实现预期的效果。这一思想推动了 GPT 系列、BERT 等模型的诞生，也让深度学习在自然语言处理、图像识别乃至多模态领域取得飞跃性发展。根本上，这一切都源于对连接主义的坚定信念：只要有大量的参数和数据，大脑般的智能就可以被模拟出来。
预训练的黄金时代与局限
然而，随着人们对深度学习的深入理解，预训练成为了主流。这一阶段包括 GPT-2、GPT- 3 的出现，以及对“Scaling Law”的验证，为 AI 赋予了“几乎无限”的潜力。各种大规模模型的训练，虽然辉煌，但也带来了局限：硬件资源的不断消耗、数据的有限和成本的升高。陷入“瓶颈”的同时，也不可避免地意识到，仅靠数据堆积已无法再打破天花板。我们需要找到新的方法，突破现有的瓶颈。
未来 AI：超越预训练，走向超级智能
Ilya 相信，接下来，AI 的发展将迈向全新的阶段。智能体的出现，将使 AI 能够自主完成复杂任务；合成数据，将弥补真实数据的不足，为模型提供丰富的训练素材；推理能力的提升，将促进模型更深层次的理解与推断。同时，生物学中的比例缩放规律也为 AI 提供了参考——未来，我们可以借鉴哺乳动物的脑体比，探索更合理的模型扩展方式。此外，超级智能的核心特征还包括自我意识，这将带来前所未有的能力与挑战。未来的 AI，不再只是工具，而是具备自我认知、推理和自主学习的“新生命体”。
超级智能的未来与可能的风险
当然，超级智能的实现仍面临诸多难题。推理能力的增强，会带来更高的复杂性和不可预测性；自我意识的加入，也意味着我们要面对 AI 是否具有自主意识的伦理问题。虽然目前还没有明确的路径，但可以预见，未来 AI 有可能拥有远超人类的智能与能力。然而，与之伴随的，也是不容忽视的安全、控制和伦理风险。我们必须提前做好准备，确保智能系统的安全可控，避免可能的负面影响。这些问题虽尚未明晰，但在技术逐步成熟的过程中，必须引起重视。
结束语：走向未知的未来
预训练的终结，标志着 AI 进入新的篇章。未来，超级智能不仅将具备更强的推理和理解能力，还可能拥有自我意识，开启全新的认知与能力空间。虽然这一切仍充满未知，但只要保持探索的勇气与理性，未来无限可能。在不远的将来，我们或许会见证一场由超级智能引领的科技革命，催化人类历史的新篇章。
