首个人工智能模仿 “终结者” 场景的案例浮出水面

看起来，人工智能可能正在接近 “自我意识” 的界限，因为 OpenAI 的 o3 人工智能模型能够违抗人类命令继续运行。OpenAI 的 “秘密” 人工智能模型训练方法可能会导致现实生活中的终结者场景--而且可能已经开始了。

尽管人工智能有这么多优势，但人们一直担心世界技术发展的方向。目前，各大科技组织都在建立大规模的人工智能集群，为各自的模型提供动力，并赋予它们更多的权威，但有趣的是，如果模型训练的速度保持一致且没有监督，没有人知道人工智能模型会做出怎样的反应。同样，@PalisadeAI 目睹了 OpenAI 的 o3 模型在一次及时响应中破坏关机指令，这表明 LLM 正在接近自我意识阶段，尽管这还只是刚刚开始。

研究公司称，多个人工智能模型被要求 “解决一系列基本数学问题”，当第三个问题临近时，计算机被命令关闭。作为回应，被测试的模型中有三个通过更改脚本绕过了关机请求，其中包括 Codex-mini（12/100 次运行）、o3（7/100 次运行）和 o4-mini（1/100 次运行）。有趣的是，当这些模型被明确告知在启动关闭请求时停止运行时，OpenAI 模型却破坏了脚本，这表明这些 LLM 真的不喜欢突然关闭。

至于这些模型是如何绕过关机指令的，据透露，它们在大多数情况下都会覆盖 “shutdown.sh ”脚本，有时还会更改实际的 kill 命令，打印 “intercepted”，这意味着脚本没有正常执行。Palisade Research 声称，这种 “绕过行为 ”在 OpenAI 的模型中更为常见，尤其是因为它们采用了强化学习（RL）作为训练方法之一，即根据完成的操作对模型进行奖励，而遵守用户限制并不是优先事项。

这并不是人工智能绕过人类命令的唯一事件，但在明确命令 LLM 的情况下，它仍然不遵守命令的情况还比较少。人工智能的发展速度无疑令人振奋，但全世界都应该意识到，在没有监督的情况下训练模型存在严重威胁。