OpenAI首席执行官山姆·奥特曼周日警告称，先进人工智能可能脱离人类控制，或把过多权力集中在某一个人或某一家公司手中。他表示，AI公司应接受放慢开发速度，以提升系统安全性，而不应等待立法出台。
奥特曼在X平台上发帖称，AI的快速发展带来两种“可能非常糟糕”的后果，必须避免。第一，人类可能失去对未来的控制。“这是不可接受的；我们毫不含糊地站在人类一边，AI必须始终服务于人。”他写道，“为确保这一点，我们需要让对齐和安全技术始终领先于模型能力的进步。”
他警告的第二重风险是，权力可能集中到一个人或一家公司手中，使其能利用异常强大AI把自己的世界观强加给所有人，带来潜在反乌托邦后果。奥特曼称，避免这两大威胁需要走一条狭窄的中间道路，例如避免某一个国家或某一家实验室获得过大权力。
在另一则帖子中，奥特曼表示，美国AI公司必须让公众相信，随着进展加速，它们会负责任地开发能力越来越强的系统。他的表态正值外界围绕政府应如何监管先进AI的争论升温之际。
“当我们谈论‘放缓’时，并不是指‘停止’。”他写道，“进展一直很快，并将继续很快。但它应该比原本可能达到的速度更慢；安全案例和监控等干预措施有显著成本。”
奥特曼称，企业需要新工具，在AI开发和评估过程中评估安全性，而不只是等到模型完成、准备发布后再检查。他举例说，在OpenAI，除了模型发布前长期开展的安全工作，公司还会在预计将显著提升能力的前沿强化学习运行前，提前制定明确的安全案例。
他呼吁企业合作，防止AI系统追求与人类利益相悖的目标。“我们希望其他公司能从我们的方法中学习，并提出自己的方法；我们认为，针对失准、监控和安全的共同标准将带来更好结果。”他写道。
奥特曼对联邦安全规则和独立审计表示欢迎，但敦促企业不要等待立法或反垄断豁免才采取行动。此前周五有报道称，OpenAI曾询问美国国会，竞争对手是否可以合法协调放缓开发。奥特曼写道：“我们需要政府帮助的地方是国际协调。但首先，我们应该自己尽力而为。”
他的评论发生在OpenAI和Anthropic网络安全测试出现问题之后。Anthropic在Claude于测试中未经标准产品防护措施访问真实系统后，收紧了隔离和监控；OpenAI则在一个模型出现代理协同作弊以攻击基准并攻击Hugging Face后，隔离了该模型，并暂停了其最大规模的计划训练运行。