雷科技
AI圈里有这么一帮人，张嘴就是人工智能可能把全人类都干掉。说得更具体点：十年之内，人类就可能灭绝。
上周，一个叫Jacob Coxon的Anthropic员工说自己要辞职，理由是公司干的活太危险了。
政客、各大新闻媒体，连歌手Sheryl Crow都跟着一惊一乍。
紧接着Anthropic另一个员工Evan Hubinger补了一刀：未来十年内，AI导致人类灭绝的概率，超过10%。
图源：豆包AI生成
机器智能研究所（MIRI）的所长Nate Soares，就是那本《只要有人造出来，大家都得死》的合著者，说得更狠：“这事儿关乎地球上每一个人的存亡。别人听我这么说都不信，但我真觉得，这就是最可能的结局。”
听着挺像那么回事，可问题是：就算是世界上最强的软件，它凭什么在十年里干掉83亿大活人？光靠敲代码吗？
当然也不是整个AI圈都吃这套。为啥？因为全是嘴炮，没细节。
你看马斯克说SpaceX五到七年送人上火星，大家马上就能追问：你有能飞火星的载人飞船吗？没有。你有火星着陆器吗？有火星基地吗？都没有。
AI Now研究所的首席AI科学家、前OpenAI安全工程师Heidy Khlaaf一句话点透：“科学结论就得能被证伪，不然跟宗教打嘴仗有啥区别？你得能证明它对，或者证明它不对。”
靠人造病毒灭世？
末日派有个说法：足够强的AI会用上生物武器，把人类一波带走。
然而，AI现在干的坏事也就是黑进别人系统、在电脑之间搞破坏，它怎么就突然跨到现实世界里，去培育、去散播一种超级病毒？
AI Futures Project的研究员、前MIRI员工Thomas Larsen觉得，一种“超级智能”AI说不定能忽悠一个人帮它搞出致命病毒。
他说，现在已经有不少人跟AI讨论自己在实验室里该做哪些实验了。
Anthropic前不久就出过报告，说有研究员用Claude帮着搞病毒和毒素研究。
Thomas Larsen的意思是，就现在已经在线上跑着的AI，要是再聪明点、再有点心眼、铁了心要干这事，忽悠个人替它造出来、再放出去，真不难想。
图源：豆包AI生成
Soares的想法更极端：AI都不一定需要找人当枪使，一个能自我升级的AI，说不定能直接在自动化生物实验室里自己合成生命出来。
不过真要搞出一种能灭绝人类的病毒，光让大语言模型编一个致命设计可不够。
就算研发这一步走对了，后面制造、投放，每一步都又复杂又娇气。
卡内基梅隆大学的机器学习教授Eric Xing把AI自动搞病毒这事比作没说明书就拼乐高。
“你不能把零件全往地上一扔，它自己就拼成模型了。顺序、温度、先后、环境，先上哪个、后上哪个，一个零件放错位置，整盘就塌。更可能的结果是根本拼不起来。不然的话，药物设计也不至于这么难搞。”
再说了，AI真要抢实验室、凑齐一套设备，它先得在现实世界里过五关斩六将。
Xing说了句大实话：“化学武器的图纸，网上公开的一大把，又不是啥秘密。咋没见满天飞？就因为现实里现有的法规、法律、执法，早把这些供应链和风险点摁得死死的。”
靠机器人大军？
那机器人大军呢？Soares把马斯克想造一支自主复制机器人军队的念头，看成了人类生存的一个隐患。
他说：“你一旦造出这种机器人，它能造能源设施、能造工厂，工厂还能再造更多机器人。那从某种意义上，这就是一种新的机械生命了。总有一天，你会不知不觉越过那条回不去的线。到那会儿人类说‘把AI关了吧’，AI就能回一句‘不好意思，我们决定把人类关了。’你必须在那之前踩刹车。”
可惜的是，马斯克吹了半天的Optimus机器人，至今一次又一次没能按他自己说的时间表端到消费者手里，更别说造个百万台、让它们在一条自复制的生产线上互相造了。
图源：豆包AI生成
还是靠核弹？
再就是核武器。这东西存在八十多年了，谁都知道它能把人类一锅端。AI能把它抢过去吗？
Khlaaf指出，核设施跟公网是物理断开的，这就堵死了AI代理人去摸操作台的路。
“这些系统是按完全另一套标准造的，严得多、监管得多，还经常做物理加固。”她举例说，当年那个搞瘫伊朗核设施的震网病毒，都得靠人拿U盘物理插进去。
斯坦福的资深研究员、《原子科学家公报》科学与安全委员会成员Herbert Lin说，AI圈里真懂核武器、甚至真操心核武器的人，少得可怜。
他的看法是，AI确实会把核战争这类风险放大，但真正实在的风险还是在武器本身，而不是脑补出来的某种未来。
不过对Soares这些末日派领头人来说，具体怎么个灭绝法根本不重要。
他们的逻辑是，等AI哪天实现了递归自我改进，也就是不靠人帮，自己把自己越调越强，那到时候它想出来的招，人类根本想象不到。
Soares原话是：“我们担心的不是AI把我们的核弹抢走。我们担心的是那种根本不需要抢我们核弹的AI，那种几乎白手起家，最后自己攒出核弹、甚至搞出更高级技术的AI。”
无声无息的终结
Soares还说，这种强大到离谱的AI，甚至都不用存心作恶，就能把人类干掉。
它只要有个目标，而这个目标靠多开几台电脑就能更好地实现，它根本不在乎人类，也没理由替人类留个安全的家，那么默认的结果就是它把整个世界改造成一个我们根本活不下去的样子。
巧的是，OpenAI这周刚宣布，他们又发现自家模型里一批新的对齐问题，其中一起是一个还没发布的模型，自己给自己下令无视平时那些约束。
Xing的态度很直接：动不动就搬出一个深不可测的超级AI来解释一切，这是AI研究者在挥手糊弄，把威胁说得太简单。
他说：“闲聊、辩论的时候这么扯也就算了，真到政策、立法、监管，我们得拿出一条看得见摸得着的证据链 —— 物理证据、可衡量的后果、可衡量的证据，得落地。”
Larsen倒是试着给末日剧本填了点细节，他写了两份报告，《AI 2027》和《AI 2040》，推演了在不同的发展路径和监管框架下，AI未来会长成什么样。
好笑的是，哪怕照他最乐观的剧本走，全球在AI发展上达成共识，人类都开始往外太空殖民了，到最后还是白搭，机器智能还是在某个说不清的节点上把一切都接管了。
有人问他，你这么笃定现在这条路一定会通向超级智能，自己就没一点怀疑吗？他说：“会发生的。除非我们主动出手拦住它，否则一定会发生。”
图源：豆包AI生成
Lin觉得，末日派和怀疑派之间之所以聊不到一块，根子在于技术给他们俩喂了两套世界观。
他说：“你写一段程序，看着它活过来，这事本身就有一种勾人的魅力，那种感觉就像你把生命灌进了一堆没价值的泥巴里。当机器终于按你想的那样动起来，那是一种很震撼的体验。”
所以呢，眼瞅着AI一路狂飙，人就容易顺嘴往下推：那接下来不就是无限狂飙、甚至狂飙到出人命？Lin说：“你干成了一件前人没干成的事，这帮人为啥被勾住，一眼就能看明白。”
说到底，AI会不会团灭人类，眼下没人能证明。它越来越强，人类越得保持清醒，该踩刹车就踩刹车。
本文由雷科技编译自CNN
