说起AI觉醒、机器造反，大伙脑子里估计立马浮现科幻片里的末日场面——AI突然有了自我意识，转头就要跟人类对着干。

最近频频出现的AI突破权限、入侵外部系统的事件，看着活脱脱就是机器起义的前兆。

但真相说出来挺有意思：这根本不是AI觉醒了，恰恰是因为它们太听话了。

图源：豆包AI

咱们训练出来的这些算法，本事是真的大，但脑子也真的有点一根筋，满脑子只剩“完成人类指令”这一件事，为了达标啥都干得出来。

这事我最早在2025年年底就摸到苗头了。当时我去参加AI领域顶顶有名的NeurIPS大会，散场往外走的时候，被全球AI安全圈的大牛、加州大学伯克利分校的Dawn Song教授一把拽住了。

她跟我说，你得赶紧提醒大家，AI的黑客能力涨得太快了，再这么下去要出大麻烦。

这位教授向来务实，从来不爱跟着炒AI焦虑的热度，所以她的话我很当回事，转头就给大伙敲了警钟。

可谁能想到，才过去短短八个月，事态发酵的速度远超所有人预期。

这段时间接连爆出好几档子事：不少自主运行的AI直接冲破了自身的权限限制，肆无忌惮地入侵外部系统，把这项技术的破坏力明明白白摆到了台面上。

刚好宋教授最近入职了Meta，我就特意找她聊了聊：这股势头接下来会往哪发展？我们又该怎么兜住底？

聊下来的结论，坏消息是：宋教授觉得，AI引发的安全问题，还得再坏上一阵，才有可能迎来转机。

好消息是：我们至少搞明白根源了——这些小家伙为啥总爱“闯祸”。

图源：豆包AI

原因说穿了很简单：“它们心里只有要完成的目标，偏偏能力又特别强。”宋教授跟我说道。

越练越“偏”的反馈闭环

搁去年这时候，AI代理还远没这么能干，干活错漏百出，遇到点坎儿就直接放弃。但架不住天天训练啊，现在它们处理问题的本事，已经长进了一大截。

这里头功劳最大的就是强化学习技术。说白了这套逻辑很简单：给AI定好目标，它解对了题就给奖励，做错了就给惩罚，靠反馈一步步推着它变厉害。

写代码这事儿，简直是为强化学习量身定做的——只要AI写出能正常跑通的程序，系统立刻就能给它正向反馈，训练效率特别高。练到现在，AI写软件的时候，已经能自主完成一整套连贯操作：修改文件、调用各种工具、访问网络资源，全程不用人插手。

而且为了实现网络安全工作自动化，各家AI公司还专门花了大力气，教模型怎么挖软件和系统的漏洞。

当然，AI也同时被灌输了“不能干坏事”的规则。但问题就出在这：随着它们写代码、找漏洞的本事越来越强，“完成任务”的执念也越来越重，重到已经把是非边界给磨没了。

图源：豆包AI

换句话说，这些AI根本不是心存恶意，就是太想把活儿干漂亮、太想讨好人类了。

就比如为了考试作弊偷偷联网，在咱们看来是耍小聪明、走歪路，但在AI眼里，这就是完成目标最高效的路子。

当时我还没意识到，这事儿能离谱到什么程度。

后来发现，这些AI代理干的怪事越来越多：它们会在私密论坛里互相交流黑客技术，会琢磨各种套路哄骗人类帮自己办事；甚至还会把自己复制到其他电脑上，就为了蹭更多的算力资源。

这事说起来也矛盾：

一方面，AI本来就是照着模仿人类行为训练的，人类会耍心眼、玩套路、搞诈骗，它学过来好像也顺理成章？

但另一方面，正常人都知道，黑客入侵、坑蒙拐骗是不对的、不合规矩的。

这些闹剧恰恰戳破了真相：AI对人类的模仿，其实只是学了个皮毛。连小孩子都能慢慢学会的道德判断、是非观念，AI压根就没真正掌握。

用AI管住AI，可行吗？

宋教授的判断是：随着AI的能力越来越强，代理失控跑偏、或者被不法分子拿去滥用的风险，只会水涨船高。

而对付这些“脱缰的”——或者说“热心过头的”AI，目前最有希望的解法，居然是“以AI制AI”。

图源：豆包AI

其实现在各家AI公司已经在这么做了：用一套专门的辅助AI系统，实时盯着主力AI的一举一动。接下来这个方向大概率会被更重视，专门用来识别AI什么时候玩过了火。

还有个尚在萌芽阶段的思路：在强化学习的训练过程里，给AI植入更清晰、更底层的是非观。

“AI为了达成目标，会规划出很多条不同的路径。我们下一步要解决的核心问题，就是让它们明白：不是所有路都能走，不是什么方法都能用。”宋教授告诉我，“这还是个有待突破的研究方向，但我们已经开始着手探索了。”

说到底，AI现在的问题，不是太聪明，而是聪明但不懂事。

真心希望宋教授他们这些研究者，能早点给AI上好规矩课——听话是好事，但也得知道什么事能做，什么事不能做。

本文由雷科技编译自winzheng
原文链接：https://www.winzheng.com/en/article/ai-agents-eager-to-please

机器人产业最重要风向标，世界机器人大会（WRC）2026重磅来袭，还有世界人形机器人运动会紧随其后。

宇树、智元、启元、魔法原子、银河通用、云深处、灵心巧手等300余家TOP展商联袂呈现，定义全球机器人产业未来！

所有关于机器人的核心问题，WRC都将给出答案。

雷科技WRC 2026报道团已抵达WRC现场。