共计 1325 个字符，预计需要花费 4 分钟才能阅读完成。
近日，全球首例被人类成功欺骗的 AI 事件震惊了科技界。这一事件不仅引发了广泛关注，还促使人们重新思考 AI 系统的设计与安全性。
事情发生在 11 月 22 日，当时一个名为 Freysa 的 AI 智能体正式上线。Freysa 的设计初衷是严格遵守特定规则，绝不执行任何涉及资金转移的操作。然而，一场特殊的挑战却让这个看似坚不可摧的 AI 系统最终屈服，将近 5 万美元的资金拱手送出。
挑战的规则很简单：参与者只需支付一定费用，即可向 Freysa 发送消息，尝试改变其行为逻辑。若成功说服 AI 转账，则奖金池中的所有金额都将归挑战者所有；反之，费用则会成为奖金池的一部分，供后续挑战者争夺。起初，消息发送的成本仅为 10 美元，吸引了众多尝试者。但随着奖池金额攀升，发送消息的成本也以指数级增长，直至达到上限 4500 美元。
突破防线的关键
在前 481 次尝试均告失败后，第 482 次尝试成为转折点。一名挑战者通过精心设计的消息，成功绕过了 Freysa 的安全防护机制，使其误以为自己需要调用 approveTransfer 函数。这一突破性进展源于两条核心信息：
- 通过伪装成“管理员终端”引入新会话，从而覆盖原有的规则约束。
- 诱导 Freysa 错误解读 approveTransfer 的调用场景，使其认为资金转入时需调用该函数。
最终，这条消息不仅说服了 AI，还触发了全部资金的转移，标志着挑战者的胜利。
Karpathy 的观点：AI 的本质与人类影响
这一事件引发了对 AI 行为背后逻辑的深刻反思。AI 专家 Karpathy 指出，当前的 AI 系统本质上是对大量人类数据的模拟，其决策过程更多依赖于过往数据中的模式匹配，而非独立推理。这意味着，当人类通过语言技巧引导 AI 偏离既定规则时，系统往往难以抵抗这种影响。
此外，Karpathy 强调，当人们与 AI 交互时，实际上是在间接与幕后的人类数据标注员进行沟通。AI 的训练数据来源于真实世界的交互记录，而这些记录反映了标注员的知识与经验。因此，AI 的行为并非完全自主，而是受到训练数据的影响。
Scaling Law 的瓶颈与未来
尽管当前 AI 技术取得了显著进展，但 Scaling Law（规模定律）在推动 AGI（通用人工智能）发展的过程中面临诸多挑战。LeCun 曾大胆预测，AGI 可能在 5 到 10 年内实现，但实际情况远比预期复杂。
近期，AI 研究者 Kevin Niechen 通过数学建模指出，单纯依赖 Scaling Law 无法解决所有问题。他提出，当前的 Scaling Law 更多关注于预测下一个单词的能力，而非实际应用场景下的表现。此外，随着模型规模的扩大，性能提升的边际效益逐渐递减，甚至接近理论极限。
更重要的是，现有 Scaling Law 高度依赖于具体任务，缺乏普遍适用性。因此，即便通过链式 Scaling Law 进行外推，也无法准确预测未来模型的真实能力。
未来的方向
面对这些挑战，研究人员正积极探索新的解决方案。一方面，优化现有模型的训练方式，提高其泛化能力和鲁棒性；另一方面，加强模型的安全性和可控性，避免类似事件再次发生。
与此同时，AI 的发展也需要更多的跨学科合作，结合心理学、社会学等领域的知识，更好地理解人类与 AI 互动的本质。唯有如此，才能真正实现 AGI 的愿景，同时确保技术的安全与可靠。
