来源:X @allen_su1024;作者:Ye Su
导语:周末,Dario Amodei发布长文《We Must Pace the Frontier》,首次明确提出前沿AI应主动限速。Sam Altman、Elon Musk随后表达支持。周一资本市场全线下跌,市场开始讨论这是否意味着AI资本投入放缓的拐点。
但在作者Ye Su看来,AI现在不可能放缓。人类并非第一次面对令自己恐惧的技术。要回答AI会不会放缓、未来会怎样限制,需要回到人类第一次面对核危机。
领先者喊停,后来者不会听
1945年,曼哈顿计划造出第一颗原子弹。一个月后,广岛、长崎被摧毁,二战结束。仅一年后的1946年,美国提出Baruch Plan,希望建立国际机构控制铀矿、核材料、危险核设施和核技术,最终消灭各国原子弹。当时全世界只有美国拥有核武器。
但该计划失败。因为苏联还没有原子弹。站在苏联角度,这相当于:你已经有了,然后告诉我不要造。在一套真正有效、可验证的国际控制体系建立前,美国也不可能放弃核优势。嘴上谈人类安全,桌下算国家安全。
随后,苏联1949年成功核试验,英国1952年,法国1960年,中国1964年。不到20年,核武器从美国一家独占变成五个大国都有。
中国是极端例子。作者祖父曾在当时核反应组工作。新中国成立才十几年,正赶上大跃进后的粮食危机,工业基础薄弱,1960年苏联又中止援助、撤走专家。饭都快吃不上,原子弹还搞不搞?陈毅说:“就是把裤子当了,也要把原子弹搞出来。”毛泽东讲得更直接:“原子弹,没有那个东西,人家就说你不算数。”
这两句话把AI军备竞赛的本质讲透了:当一种技术开始决定国家未来会不会被欺负、有没有战略话语权、能不能坐上牌桌,危险不危险不会成为退出竞争的理由。真正重要的是别人会不会先拥有。
AI的2026,更像核时代的1946
今天Dario、Sam、Elon开始喊AI应该慢一点,就像美国刚拥有原子弹后,突然意识到潘多拉魔盒里的东西可能连自己都控制不了。但Dario也强调,美国的AI限速必须建立在美国仍然领先中国的基础上。
中国会放缓吗?DeepSeek、Kimi、千问会放缓吗?只要AGI仍代表下一代经济、军事、科研甚至国家治理能力,任何大国都会得出和60年前中国几乎一样的答案:没有这个东西,人家就说你不算数。因此,AI安全最终首先是一个博弈论问题。
真正放缓,至少要出现三个条件
第一,实现AGI。不到AGI这一步,人类不会满足,也不足以形成“AI真正会毁灭人类”的共同恐惧。马斯克从2014年开始把AGI比作核武器,2024年Abundance Summit接受采访时说,AI可能终结人类,概率是10%-20%左右。作者也在2023年GPT-4发布当天发长推做出类似预测。等AGI出现时,这种恐惧才会无差别笼罩所有人。
第二,至少3个主要国家或阵营拥有AGI。核武器真正出现第一次有效约束,是1963年美苏已拥有相互毁灭能力后,第一次落地《部分禁止核试验条约》。到1968年,美、苏、英、法、中五个核国家都已出现,NPT才被推出,逐渐形成今天核不扩散体系的基础。领先者喊“大家别搞了”时,后来者不会听;等后来者也拿到了,大家才开始讨论规则。AGI大概率也一样。只有当美国、中国以及至少另一个主要力量都真正拿到AGI,“限制能力继续增长”才可能成为一场相对平等的谈判。
第三,AI造成真正的史无前例危机。1962年以前,美苏已经知道核战争很危险,但知道是一回事,亲眼看到世界差点毁灭是另一回事。古巴导弹危机期间,美苏核力量进入极度危险的对峙,人类第一次发现核战争可能下星期就发生。此后,美苏开始加速核军控谈判,一年后1963年《部分禁止核试验条约》签署。
所以,AI可能也需要自己的“古巴危机”。今天OpenAI Agent攻破Hugging Face会让AI公司紧张,但远远不够。真正改变国家决策的事故,可能是某个AI进入国防系统后发出错误指令,可能是一场自主发动的大规模网络攻击,让一个国家的金融、电力或通信系统瘫痪,可能造成几百亿美元损失,甚至第一次真正导致大量人类死亡,也可能比这些严重得多。
等到那一天,全世界第一次亲眼看到:我们造出来的这个东西,真的有可能不听我们的。那时,AI安全才会从硅谷CEO的长文、研究机构里的alignment论文,真正变成美国总统、中国领导人和各国军方桌面上的最高优先级问题。
核武器从1945年第一次爆炸,到1968年NPT开放签署,走了23年。中间经历一轮又一轮军备竞赛,五个大国先后拿到核武器,还差一点爆发真正的核战争,最后放缓规则才出现。Dario周末自己说,尝试建立类似“核军控体系”的国际AI风险控制。如果这个类比成立,那么今天真正值得问的,可能不是AI什么时候会放缓,而是:在全世界终于愿意一起踩下刹车之前,我们还要经历什么?
来源:X @allen_su1024;作者:Ye Su。本文观点仅代表作者,不构成投资建议。
