在机器人“三大法则”的限制下，人类与机器人和谐相处，但在一起离奇的凶杀案发生后，警探调查发现机器人产生了自我意识，随时可能成为人类的“公敌”……近年来，随着通用人工智能迅速发展，二十年前上映的电影《我，机器人》中的恐怖剧情，成为现实的概率正逐渐增加。但对于人工智能国际治理的具体准则，国际社会仍未达成共识。

2024年3月7日，中共中央政治局委员、外交部部长王毅在全国两会记者会上表示，人工智能进入爆发式发展的关键阶段。我们主张发展与安全并重，既要拥抱新事物新机遇，也要装好刹车再上路，共同推进人工智能全球治理。

实现人工智能全球治理难在何处？人类真的需要经历一场危机才能意识到人工智能的安全风险吗？怎样帮助发展中国家在人工智能发展中不掉队？近日，就这些问题，《中国新闻周刊》专访了清华大学文科资深教授、国家新一代人工智能治理专业委员会主任薛澜。

薛澜。图/受访者提供

分歧与共识

中国新闻周刊：过去一年来，人工智能全球治理成为国际社会的热门话题，中美领导人旧金山会晤就此达成重要共识，中国发布《全球人工智能治理倡议》，提出“确保有益，确保安全，确保公平”的基本原则。与此同时，欧盟、英国等也推动召开了多次关于人工智能议题的峰会。在此背景下，我们距离形成一个全球性的人工智能治理共识还有多远？

薛澜：一方面，各国对人工智能全球治理的宏观原则存在基本共识。中国、美国、欧盟提出的人工智能治理原则，都以负责、包容、平等、安全等理念为核心。但另一方面，世界各主要经济体还没有进入到就人工智能全球治理的具体措施进行充分、深入交流的阶段。各国各自出台了人工智能国内治理的法律或措施，但还没有把这些规则拿到桌面上进行对比，看看对共识性原则的理解在实践中是否有差异、是否可以协调形成全球性规则。

关于未来可能达成的全球性共识，我们首先要明确，人工智能治理有两个核心。一是发展问题，即如何构建良好的制度规则，推动人工智能创新发展，科技向善；一是安全问题，包括保证安全底线和防范其他风险。这是所有治理逻辑都必须依托的出发点。

在安全底线问题上，全球有明显的共同利益。大家都担心人工智能未来可能不受人类社会控制。所以，大家会寻找为了维护共同利益而必须遵守的规则。但在一般的社会应用层面的风险问题上，各国对不同风险的评判不同，价值观念不同等，会存在不同的立场。比如争议很大的人脸识别技术，有些社会反应比较强烈，担心会侵犯个人隐私及泄露个人信息；但也有些社会感觉如果应用恰当并加上合理的规制，承担一些不高的风险可以换取更加方便的社会应用。

在发展问题上，各方的差别更大一些。以美国为例，相比中国和欧盟，美国一般来说比较强调自由市场的力量，依靠市场推动科技创新。在人工智能发展和治理方面，态度比较宽松，没有进行单独立法，而是以白宫行政令的形式要求企业遵循一系列规则。所以在人工智能规则制定方面，美国表现不算积极。

考虑到种种分歧，各方最终能否形成治理人工智能的全球性规则，还要打一个问号。一个可能的结果是：各国在安全底线问题上达成共识并建立机制，但在其他问题上，各国会按照各自的治理逻辑进行规制，并在一定程度上协调。

2023年11月24日，浙江杭州市，第二届全球数字贸易博览会前沿趋势馆内，阿里、华为、腾讯、科大讯飞等数十家企业重点展示大语言、视觉、生物、多模态等各类人工智能大模型。图/IC

何处停步？

中国新闻周刊：人工智能的安全问题，和历史上新技术带给人类的安全挑战相比，有什么不同之处？历史上是否有什么技术安全治理的经验可以汲取？

薛澜：人类社会走到今天，在科技发展方面始终面临着一个关键问题，即需要对新科技的发展进行收益和风险的评估和权衡。有些技术固然可以帮助我们实现更好的生活，但也可能带来更大的安全风险，所以我们必须考虑在什么地方停步。

以生命科学领域的基因技术为例，像贺建奎事件所体现的那样，对人类基因进行改造的事情在技术上是可能的，但在其背后的伦理和社会责任问题想清楚之前，世界各国的学术共同体和医务界都认为这个技术不能再“向前一步”。通用人工智能技术从本质上说也是潜在风险极高，一旦出错其后果可能是无法挽回的，属于人类社会必须面对的终极技术。

因此，对于有极高风险的技术，我们需要持续关注安全问题。这方面的典型案例是核技术。核技术的产生就与战争紧密相关，并且被直接应用于战争，让全世界所有人都看到了它所带来的巨大伤亡和毁灭性风险。之后，从切尔诺贝利事故到福岛核事故，一系列核事故带来的灾难一再提醒人们关注核技术的风险防控。据说目前全球核技术领域95％的研发经费都被用在安全防控的研发上。

中国新闻周刊：核技术确实是一个很好的例子，但对其安全问题的重视是发生在灾难发生后。人类社会是否必须经历一场大灾难，才能真正推动对某项新技术的安全风险防控？

薛澜：社会对于新技术的风险认识确实存在滞后性。所以，如何让社会公众对新技术的潜在危害程度有更清晰的认识，是一个巨大的挑战。

人工智能技术和其他技术的安全风险还不太一样。即使是原子弹这样的核技术应用，它带来的危害还是在人类控制之下的。而如果通用人工智能系统产生了自我保护、自我发展的意识，不再受人类控制，乃至无法接受人类是它主人的现实，那我们所有人类的生存都将面临危险，这种安全问题一旦失控就是不可挽回的。所以，我们希望千万不要走到这一步。

当然，如何帮助全社会对新兴技术的风险建立一个全面客观的认识也是刻不容缓的事情。一些文学艺术作品或科幻作品对于人工智能技术的风险也有一些不切实际的夸大，使得社会部分人群也对人工智能技术产生不必要的恐惧，这样的情况也是需要注意的。

中国新闻周刊：在人工智能自主武器的治理上，以美国为代表的部分技术先进国家和其他国家之间的观点并不相同。一些国家为了自己的军事优势，不希望禁止对高风险技术的研发和应用。这种难题如何破解？

薛澜：提到人工智能在军事冲突中的应用，我认为禁止人工智能在军事领域的应用是我们大家共同努力的方向。只有这样，才能最大程度地降低安全失控的风险。中国自2014年以来积极参与《特定常规武器条约》缔约国关于致命性自主武器系统的讨论，是最早提出应禁止开发和应用完全自主的致命性武器的国家之一。

但是，一些世界主要国家，特别是联合国安理会的其他常任理事国，并没有加入中国这一呼吁。之后，国际社会又提出禁止应用完全自主的大规模致命性武器（但不禁止开发）等主张，依然没有得到除中国以外的其他大国的响应。

国际政治的现实是，一些国家认为自主武器是在战争中减少人员伤亡的好办法，是让自己形成战略优势的好工具。所以对于应当如何限制自主武器的开发应用，各国还存在不同的判断。但即使这样，有些安全问题是大家需要共同面对的。

一旦人工智能系统不受人类控制，我们面对的问题就不再是国家和国家之间冲突的问题，而是“碳基和硅基的对抗”。此外，主权国家之间的冲突可能还会受到各种国际公约和规则的制约，但如果有极端组织或者个人出于对社会的不满，使用人工智能技术报复社会，其后果将不堪设想。面对这些问题，全人类的利益一致，所采纳的风险防控机制和政策也应一致。这就如同民航业的安全检查，各国都会按照统一的国际标准执行。

在人工智能全球治理的交流上，各国应该深入对话，增进共识。图/视觉中国

复杂的“机制复合体”

中国新闻周刊：在人工智能全球治理的发展问题上，中共中央政治局委员、外交部部长王毅在两会记者会上强调，要促进各方加强技术共享，努力弥合智能鸿沟，不让任何国家掉队。你认为应如何保证“全球南方”国家不在人工智能技术革命中落后？

薛澜：首先，在风险防控问题上，要让人类社会的所有成员表达自己的意愿。即使没有掌握新技术的国家，也有权利和义务就技术安全问题作出自己的判断，表达自己的意愿并参与规则制定。

其次，人工智能发展会带来巨大的经济社会利益，要保证发展中国家在技术革命的过程中也能分享红利。发展中国家在这个问题上的意愿是非常强烈的。2022年，我在埃及作了一个关于中国人工智能发展的报告，埃及政府的许多官员、学者对此非常感兴趣，特别希望和中国加强合作，希望埃及也能“赶上”。

在具体操作层面，这就需要中国、美国等人工智能“第一梯队”国家在全球技术共享上采取更多的积极措施。这包括和发展中国家的相关机构、高校及企业合作，使他们尽快掌握和应用人工智能技术，为社会造福，同时也要保证他们能安全地使用新技术。

但是，目前技术转移主要依赖市场手段，而国际技术转移的市场还是有很多障碍的。我们未来也许应该考虑将更多的资源投入到发展中国家的科技创新能力建设上。如果没有更好的教育、创新和研发环境，即使技术转移到发展中国家，也难以发挥最大的作用。所以，人工智能全球治理，也包括推动发展中国家建立能接纳人工智能技术落地的教育和创新体系。

中国新闻周刊：你曾提出，人工智能技术发展变化迅速，因此政府需要“敏捷治理”。但在国际层面，治理规则的形成、新的国际组织的建设总是旷日持久。如何破解国际多边谈判速度跟不上技术发展速度的难题？

薛澜：是的，人工智能全球治理也需要“敏捷性”。之前国际社会缺乏这种紧迫感。在ChatGPT发布之前，人们觉得通用人工智能距离我们还比较遥远。但现在，大家已经意识到通用人工智能实现的可能性已经越来越大，不受人类控制的、有自主意识的系统出现的可能性也越来越大。

所以，最近一两年，在ChatGPT等产品发布后，人工智能的全球治理、特别是风险防控，得到的关注已经越来越多。最近，我参与了一些著名人工智能技术专家和治理专家的共同努力，撰写一篇提交给《科学》（Science）的论文。这篇论文就指出，我们已经到了刻不容缓需要推动人工智能全球治理的阶段。

但现实情况是，由于一些全球治理问题非常复杂，很多治理机制会同时参与、介入对其治理，形成“机制复合体”。人工智能就有这种问题。从联合国到各个国际组织、各国政府、行业标准组织、非政府组织等都提出了不同的要求和规则。

这种情况的特点是，不同治理机制之间存在重叠和冲突，彼此又没有清晰的从属关系。联合国不是“世界政府”，并非对所有参与者和社会主体都有普遍约束力。这使得问题的讨论和解决变得更加复杂。在这种情况下，各方需要特别注意包容性，尽可能容纳更多不同的社群和观点，以寻找真正的共识。

我希望人类社会的智慧可以让我们尽快找到建立国际机制的可行方案。同时，很多专家也在呼吁人工智能技术公司放慢发展步伐，在不能确保安全、缺乏规制的情况下不要轻易推进技术前沿。当然，未来人工智能安全本身可能也会形成一个市场，全社会也需要加强对人工智能安全领域的研发投入，使得有更多的技术公司参与监测和评估人工智能的安全性，政府监管部门也有更加有效的工具来防范相关风险。

加强中美对话

中国新闻周刊：过去几年，中美双方就人工智能全球治理进行了多个层次的交流对话。你觉得目前中美之间关于人工智能全球治理的讨论是否充分？去年，美国在荷兰举行的“军事领域负责任人工智能”峰会期间发布《政治宣言》，试图和其全球伙伴先行商定一些人工智能全球治理共识，从而引领、主导国际社会的规则制定。中方应如何应对美国的“抢跑”活动？

薛澜：在人工智能全球治理的交流上，2023年11月举行的中美元首旧金山会晤达成了重要共识。此前，中美学术界和企业界关于人工智能全球治理有多层次的交流，去年7月基辛格先生访华时，也就人工智能安全问题和各个方面进行了沟通。但总的来说，中美两国在人工智能全球治理问题上缺乏系统性的、有组织的、全面深入的对话，也缺乏一轨对话机制。而现在，在中美元首旧金山会晤的共识中，双方明确提出建立人工智能政府间对话机制，这是一个很重要的进展。

历史上看，美国等西方国家在全球治理规则制定上一直希望占据主导地位，在人工智能治理领域也不例外。对此，中国应当加强对人工智能全球治理的研究，形成真正有价值的、站在人类命运共同体立场上的想法和建议，让包括美国等西方国家的国际社会对中国的建议产生共鸣。

当然，如果美国等西方国家的规则确实反映了世界各国的意愿，我们也应该持支持态度。也就是说，在人工智能领域的全球治理规则上，不应该以国家或意识形态划线，而应该以人类社会的共同利益作为判断的基准。

近年来，中国政府为此进行了大量工作，发布了《全球人工智能治理倡议》等立场文件。现在，我们要在此基础上进一步研究如何落实这些原则。不可否认的是，美国的学术界和政策界在规则研究方面做了大量工作，并在国际社会上非常活跃地推动和宣传他们的想法。而中国的学术界和政策界还应该解放思想，加强在这方面的研究和宣传工作。

我们需要在一定程度上跳出熟悉的国内话语体系、跳出一些约束和限制，能够站在人类命运共同体的立场上，形成推动全球各方达成共识的想法，让世界能充分意识到“中国倡议”的价值。

此外，在国际政策舆论场中，西方国家的一些前政要、前官员、前商界领袖发挥着重要作用。他们有丰富的政策经验，能提出切实可行的方案。中国也有很多非常有能力的政策界人士，可以在国际上发挥更大的作用。未来，如果形成人工智能的全球治理机构，他们也可以深入参与工作，扩大中国的话语权和影响力。

总的来说，我认为中国不必特别担心所谓美国“抢跑”的问题。我们需要加强和美国等西方国家在人工智能领域的对话。一方面，大国竞争和地缘政治是现实问题，美国及其盟友在很多方面排斥中国或给中国施加压力，中国需要在对话中明确我们的底线，捍卫我们的立场，不接受不平等的规则；另一方面，我们也要搭建更多平台，加强对话，在有共同利益的问题上增进共识，推进人工智能全球治理框架的形成。

发于2024.3.18总第1132期《中国新闻周刊》杂志

杂志薛澜：人工智能全球治理 如何平衡安全与发展？

记者：曹然

：徐方清

薛澜：人工智能全球治理 如何平衡安全与发展？

在人工智能“三大法则”的限制下，人类与机器人和谐相处，但在一起发生了凶杀案，警探调查发现机器人产生了自我意识，随时可能成为人类的“公敌”。
近年来，人工智能技术快速发展，引起了全球范围内关于人工智能治理的热烈讨论。尽管各国已达成共识，但在实现人工智能全球治理时仍存在分歧。人工智能安全与发展问题的关键在于我们如何在保障人类社会安全的同时，推进技术创新。
中国新闻周刊采访了法学资深教授、国家新一代人工智能治理专业委员会主任薛澜，他认为人工智能发展与安全并重，既有必要的警惕性，也有积极的合作意愿。他提出，制定出对人工智能安全的总体原则至关重要，但需要根据具体情况制定具体的措施进行规范，并协调全球性规则。
在全球范围内，不同国家对人工智能的发展路径持有不同的态度。例如，美国主张以市场驱动的方式推动科技创新，而不希望禁止相关技术的应用；中国则倡导禁止部署具有高度自主性和可能威胁到人类安全的自动武器。然而，人工智能的安全问题并未完全消除。
薛澜认为，处理好人工智能全球治理的契机在于消除对新技术的恐慌，培养全社会对新技术的信任，并鼓励国家之间开展多边对话，寻求共识。他还认为，全球化对技术和规则的影响不容忽视，中国需要在确保技术安全的基础上，积极推动全球一体化的治理框架，以防止可能出现的技术滥用。
对于中美领导人在人工智能领域的交流，薛澜表示，尽管中美之间存在竞争和地缘政治因素，但仍需要积极对话，提高共同利益的水平，以推动全球人工智能治理的进程。
人工智能的安全问题需要引起广泛的关注，涉及全球各国的主权和文化遗产，需要在各方的合作和对话中寻求解决方案。此外，他还提出了加强中美对话的重要性，特别是在人工智能安全问题上，虽然美英等西方国家的规则反映了大多数国家的意愿，但中国也应该坚持自己的立场，以增强自己的话语权和影响力。
总的来说，面对人工智能的安全挑战，各国需要积极协作，共同推动全球性的人工智能治理。中国的做法旨在平衡安全性与发展，并推动人工智能在全球范围内的广泛应用。未来的全球性协议需要考虑到多元文化的多样性，才能取得一致认可。