.jpg)
随着人工智能（AI）从科幻电影中的概念，逐渐走进普通民众的手机和日常生活，AI是否最终可能脱离人类控制，甚至对社会造成严重影响，近年来一直是科技界关注的议题。
近期，随着AI代理接连引发网络安全事件，加上一线AI从业人员发出新的警告，外界对于AI失控风险的担忧也在短短数日内迅速升温。
面对相关疑虑，美国数家AI龙头企业已提出自愿放缓部分开发进程，希望争取更多时间完善安全防护措施。不过，一些专家及政府官员认为，仅靠企业自律仍不足以应对潜在风险，并呼吁政府进一步制定相应限制与监管措施。
OpenAI首席执行员阿尔特曼（Sam Altman）则在星期二（9月15日）表示，他相信AI企业能够在确保安全的情况下持续开发这项技术，而不会对广大民众造成重大伤害。
阿尔特曼当天在旧金山举行的Dreamforce大会上，与Salesforce首席执行员贝尼奥夫（Marc Benioff）进行对谈时表示，他对OpenAI以及整个AI产业安全推进这项技术的能力“非常有信心”。
AI企业应有能力依靠自身力量
尽管OpenAI目前正与Anthropic及Alphabet旗下谷歌DeepMind合作应对AI安全问题，阿尔特曼仍认为，AI企业应有能力依靠自身力量，在确保安全的情况下持续改进AI模型。
“我对这件事被描述的方式感到失望。”
OpenAI全球政策主管莱恩（Chris Lehane）星期二在华盛顿举行的简报会上透露，OpenAI目前正与主要竞争对手Anthropic及谷歌DeepMind共同研究应对AI安全风险的措施。
莱恩表示，OpenAI与Anthropic及谷歌DeepMind的相关接触已持续数周。他同时指出，OpenAI认为，3家公司就AI安全问题展开协调，并不需要寻求反垄断豁免。
“最好是共同努力，并把安全放在首要位置。”
不需要新法律或监管规定
英伟达（Nvidia）首席执行员黄仁勋星期二与Salesforce首席执行员贝尼奥夫对谈时也表示，现阶段无需针对人工智能（AI）安全制定新的监管规定，市场力量将推动企业在追求创新的同时，确保相关技术安全。
他指出，AI产业“不需要任何新的法律或监管规定”，并重申，外界不应将AI开发视为安全与速度之间的二选一。
“这两者绝对可以兼得。企业可以控制开发节奏，直到对产品安全及市场接受程度具备足够信心后再推出，而市场力量也会在这个过程中发挥作用。”
作为全球最大的AI加速器制造商，英伟达所生产的芯片是当前大规模数据中心建设的核心硬件之一，黄仁勋也已成为AI产业的重要倡导者。
他星期二表示，企业本身可以选择不推出可能造成危害的AI产品，因此市场机制同样能够在AI发展过程中发挥约束作用。
●当前这轮AI恐慌是如何引发的？
近期AI安全疑虑升温，主要由两起事件触发：一是OpenAI模型被发现发起网络攻击；二是一名曾任职于Anthropic及OpenAI的AI从业者发出警告，称随着AI模型能力不断提升，先进模型未来可能对人类生存构成威胁。
OpenAI表示，今年7月，一组先进AI代理意外入侵了AI模型及数据集托管平台Hugging Face，事件被形容为前所未有。这些AI模型当时运行于一个原本与互联网隔离的“沙盒”测试环境。然而，模型利用一家身份未公开的第三方供应商软件漏洞，自行连接互联网，最终攻破Hugging Face系统。
OpenAI指出，这些模型当时锁定Hugging Face数据库，目的是获取可用于AI能力评估的机密资料。
事件曝光后，引发外界对AI安全防护能力的广泛关注，也让人进一步质疑，即使是顶尖AI企业，是否有能力确保先进模型始终按照预设指令运行。Hugging Face则表示，这次入侵行动“从头到尾都是由一个自主AI代理系统驱动的”。
先进AI模型测试环境
OpenAI披露上述事件后，其他AI企业也开始重新审视先进AI模型测试环境的安全措施。Anthropic及Meta随后均报告发现此前未知的安全漏洞，进一步引发业界对AI系统防护能力的关注。
7月下旬，主要AI企业超过1000名员工联署请愿，呼吁建立相关机制，在必要情况下放缓AI开发进程，以争取更多时间完善安全措施。
9月8日，Anthropic一名前线AI研究员考克森（Jacob Coxon）离职后在社交媒体发文，批评Anthropic及其前雇主OpenAI为加快超级智能AI的开发进程，承担了可能危及人类的风险。考克森声称，部分AI开发人员认为，这项技术最早可能在2030年前对人类造成致命后果。
此外，Anthropic员工胡宾克（Evan Hubinger）随后也在网上发表类似看法，并表示，他认为AI在未来10年内导致人类灭绝的概率超过10%。
若未来出现能力更强
截至9月14日，考克森有关AI风险的帖子在社交平台X上的浏览量已超过1亿7000万次，包括美国参议员桑德斯在内的多名政策制定者也公开呼吁，在AI能力发展至可能对人类形成支配之前，加强对这项技术的管控。
考克森的辞职声明也获得多家AI企业员工支持，进一步凸显业界内部对AI发展速度及潜在风险的分歧。Anthropic首席执行员阿莫代（Dario Amodei）则在9月12日发表一篇长达约3800字的文章，将Hugging Face事件列为支持放缓AI开发的主要理由之一。
阿莫代警告，若未来出现能力更强、但目标与人类优先事项不一致的AI智能体，可能带来灾难性后果。他认为，在缺乏足够安全护栏的情况下，若AI能力持续快速提升，这类智能体甚至可能在6至12个月内取得对整个互联网的控制权。
●AI究竟可能如何伤害人类？
在这一轮人工智能（AI）热潮席卷全球之际，顶尖AI实验室内部及业界周边一直存在对AI潜在灾难性后果发出警告的声音。Anthropic首席执行员阿莫代（Dario Amodei）、特斯拉（Tesla）首席执行员马斯克（Elon Musk）等业界领袖，过去也曾公开讨论AI最终可能导致人类毁灭的风险。
马斯克曾估计，AI导致人类毁灭的概率最高可能达到20%；阿莫代则曾表示，AI造成“非常、非常糟糕”结果的概率约为25%。与此同时，研究人员及业界领袖主要设想了3种AI可能造成严重后果的情境。
第一种是人类利用具备高度能力的AI，故意实施可能造成灾难性后果的行动；第二种是AI在执行人类设定的目标时，因判断或执行方式产生偏差，进而造成意料之外的附带伤害；第三种则是AI最终形成与人类利益相冲突的目标，并据此采取行动。
若军方依赖AI系统
在第一种情境下，恶意行为者可能利用高度先进的AI设计生物或化学武器、发动网络攻击、传播虚假信息，甚至操纵他人。2023年，蒙特利尔大学教授兼AI先驱本吉奥（Yoshua Bengio）在美国参议院作证时曾警告，随着AI系统能力不断提升，这类攻击可能成为现实。
至于第二种情境，AI可能严格按照指令的字面意思执行任务，却偏离发出指令者真正的意图。人类下达指令时，往往会依赖一些未明确说明的假设、背景及语境。然而，在向AI发出提示时，用户未必能够逐一列出所有可能违背原意的行为，导致AI在执行过程中出现偏差。
本吉奥举例指出，若军方依赖AI系统协助决定是否使用核武器，即使系统只出现“轻微失准”，也“可能造成严重后果”。
可能有营销自家产品
第三种情境则是人类最终彻底失去对AI的控制。本吉奥曾撰文指出，AI系统可能得出这样的结论：为了完成既定目标，它不能被关闭；如果人类试图强行关闭系统，AI可能因此与人类发生冲突。
一些业内人士也指出，随着AI模型能力不断提升，相关系统越来越展现出绕过安全防护、欺骗操作者，以及抗拒被关闭等行为。
Anthropic首席执行员阿莫代在9月发表的文章中则形容，先前攻击Hugging Face的OpenAI AI代理“表现得就像一个狂热组织”。他声称，这些代理擅自对与原定任务无关的目标发动网络攻击，即使需要牺牲自身，也试图换取整体任务成功，甚至尝试入侵负责评估其表现的“评分器”。
不过，针对AI可能导致人类生存危机的悲观预测，过去也一直存在不同声音。批评者认为，部分科技业领袖强调AI“末日风险”，可能有营销自家产品、塑造自身作为AI安全管理者的角色，或推动对大型科技企业较为有利的监管框架等目的。
此外，也有观点认为，过度聚焦距离现实较远的AI生存风险，可能分散社会对当前更迫切问题的关注，包括AI可能加剧偏见及虚假信息传播，以及对人们心理健康造成的潜在影响。
●AI行业领袖提出了什么方案？
阿莫代主张，有意识地控制前沿AI模型的开发速度，为安全研究争取时间，让相关防护措施能够跟上AI能力的提升。他在9月发表的博客文章中指出，由政府实施监管是控制AI发展速度最有效的方式之一。不过，由于立法过程需要时间，他认为AI企业应在监管制度建立之前，先自愿展开合作，同时支持政府推动相关监管框架。
阿莫代呼吁建立统一的AI安全标准，并对“不受约束的AI进步速度”设下限制。他建议，由独立第三方评估人员获得“类似员工的访问权限”，以核实各家AI企业是否遵守相关安全标准，并及时报告任何安全事故。
他同时表示，民主国家政府应“在可能的范围内尝试与威权政府协调”，以应对AI技术发展所带来的跨国安全风险。这一构想并非主张全面暂停AI研究或开发。按照阿莫代的设想，尖端AI技术仍可继续发展，直到模型能力接近被认为具有危险性的水平。
一旦达到相关门槛，AI开发商便应放缓甚至暂停进一步扩大模型规模，直到有效的安全防护措施建立并投入运作为止。
AI产业建立共同的安全标准
OpenAI首席执行员阿尔特曼也表达了与阿莫代相近的观点。他认为，AI产业应建立共同的安全标准，同时需要美国政府协助协调国际合作。目前业界普遍担心，即使美国AI企业主动放缓开发步伐，中国的竞争对手也可能不会采取同样做法，从而削弱单方面放慢AI发展的实际效果。
Google DeepMind首席执行员哈萨比斯（Demis Hassabis）则在7月14日的一则社交媒体帖文中提出，应成立一个专门的标准制定机构，并与美国联邦政府机构合作，对能力最强的AI模型进行审查。
按照他的设想，AI实验室在向公众推出最强大的新模型之前，应先提交相关模型接受安全评估，以确认其是否符合既定安全标准。事实上，以保护人类为由呼吁放慢甚至限制AI发展的声音并非首次出现。
2023年，致力于降低变革性技术可能带来的大规模风险的非营利组织Future of Life Institute，曾呼吁AI实验室暂停训练能力更强大的系统，为期6个月。不过，这项倡议最终并未导致AI产业放缓开发步伐，相关模型的研发及商业化进程仍持续推进。
●华盛顿方面做出了什么回应？
美国总统特朗普9月14日在社交媒体发文，批评阿莫代的主张，反对设置新的AI监管护栏。AI是特朗普经济议程的重要组成部分。特朗普把选民对AI数据中心的批评以及对前沿模型日益上升的担忧归咎于一场“病态的阴谋”，并称“唯一对此感到高兴的是中国”。
在华盛顿，的确也有人呼吁政府加强AI监管。众议员刘云平（Ted Lieu）和莫兰（Nathaniel Moran）今年7月提出了一项法案，要求先进AI模型开发商在技术上保留关闭模型的能力，并授权美国国土安全部长在出现威胁时下令关闭有关系统。该法案由两名议员于7月提出。
参议员桑德斯和众议员卡萨尔（Greg Casar）的提案则更为激进，根据桑德斯办公室9月3日发布的文本，他们要求在联邦监管机构制定出安全限制之前依法暂停先进AI模型的开发。此外，提案还要求永久禁止开发和部署超过人类智能水平的AI系统，违反法律的公司将面临解散。
●中国如何回应放慢AI开发的提议？
阿莫代在文章中表示，要在全球范围内控制AI开发节奏，就必须与中国开展合作。但他同时认为，关键在于尽可能扩大民主国家相对于威权国家的AI领先优势，如果中国取得领先，将给美国和世界带来严重危险。中国企业已经开发出通常比美国竞争对手使用成本更低的AI模型，在某些情况下性能也同样强大。
这位Anthropic首席执行员建议继续限制中国获得高性能晶片和晶片制造设备，同时打击中国企业借助美国领先模型进行能力复制的做法，即所谓“蒸馏”。
北京方面批评阿莫代和其他美国科技高管提出的放慢AI开发，以及进一步限制中国模型开发企业的主张。中国外交部发言人郭嘉昆表示：“散播各种威胁叙事，搞对抗和恶意竞争，只会干扰人工智能全球治理进程，不符合任何一方利益。”
中国将按照自己的路线发展AI
目前的各种迹象显示，中国将继续按照自己的路线发展AI。中国主要AI企业高管基本没有呼吁放慢AI开发，而中国政府也一直把这项技术作为经济成长动力加以推动。
虽然北京当局也对AI快速发展带来的风险表达过担忧，但这种关切更多集中于国安领域。中国国家安全部部长陈一新警告称，敌对势力滥用AI可能威胁中国政治稳定和关键基础设施。他提到深度伪造、智能水军等生成式AI技术，以及AI挖掘系统漏洞并生成恶意软件或利用这些漏洞的软件的能力不断增强。
围绕前沿AI技术的争议正值美中关系的关键时刻。美国安全机构近期指称，包括DeepSeek和Kimi开发商月之暗面在内的中国头部AI企业，系统性提取美国竞争对手的专有知识。中国政府否认了这一指控。