设想一种潜在的骗局：不法分子利用Sora制造出被抢救或绑架的假视频，并通过“AI换脸”技术替换为受害者亲友的形象，同时切断当事人与亲友的实际联系，从而成功实施诈骗。这种新型威胁，在缺乏全面防护措施的情况下，具有实际发生的可能性。此外，虚假新闻和谣言也可能因生成式AI而加剧，对社会造成不良影响。
中共中央政治局委员、外交部长王毅在今年两会期间明确强调，人工智能正处在爆发式发展阶段，应兼顾发展与安全，既要积极拥抱创新机遇，也要预先做好风险防控，共同推动全球人工智能治理。
近期全国两会上，超过20位代表委员围绕“人工智能”议题提出了相关建议，“安全”与“合规”成为讨论的核心焦点。从ChatGPT出现至今，由新技术引发的网络安全犯罪等问题愈发凸显，人工智能的安全隐患已成为全球科学家、企业以及国家亟待解决的重要课题。
随着Sora等前沿模型的出现，以及不断迭代升级的“AI换脸”技术，新的安全挑战摆在了公众面前。香港警方近期披露的一起涉案金额高达2亿港元的“AI换脸”诈骗案，以及梅西澄清视频引起的“AI换脸”争议，让人们深刻意识到，AI带来的风险其实近在咫尺。
萧子豪警示道，如同气候问题一样，如果我们只注重发展而忽视安全问题，等到问题严重时再采取行动恐怕为时已晚。面对生成式AI所带来的全新挑战，监管机构、AI安全企业和每一个个体都需要积极应对。生成式AI模型是深度伪造（Deepfakes）的基础，其中以“AI换脸”为代表的人脸伪造技术尤为突出。早在2019年，艺术家和广告公司就制作了一段Facebook创始人马克·扎克伯格的Deepfakes视频，该事件不仅引起了轩然大波，更揭示了Deepfakes技术如何迅速演变为新型欺诈手段。
开源生态虽然推动了生成式AI的发展，但也导致其更容易被滥用。由于开源协议的要求，他人可以研究、修改并使用这些模型，这使得开发者难以控制模型的用途，甚至可能导致保护措施被移除。这些安全隐患进一步暴露人性阴暗面，如色情、暴力、金钱诈骗及权力斗争。
值得注意的是，犯罪分子开始利用开源AI创建儿童性虐待材料（CSAM），甚至有报道称美国总统拜登的声音被AI模仿用于干扰选举。与此同时，生成式AI正在重构诈骗产业链，跨国公司的巨额转账诈骗案件就是例证。
然而，针对这些安全隐患的反击也在同步加强。OpenAI推出“红队网络”，签约专家团队提供风险评估信息，并计划将识别元数据纳入面向公众的产品中，同时拒绝违反使用政策的。国内外政府也加大了监管力度，如白宫呼吁人工智能头部企业确保AI技术的安全性和可靠性，并获得了七家企业的自愿承诺。
国内企业如瑞莱智慧采用“AI检测AI”的策略，针对生成式AI的检测技术进行系统梳理，开发专门针对人眼无法识别痕迹的技术。中科睿鉴作为数字安全领域的领军者，通过内部大量测试表明，对包括Sora在内的多种主流生成视频的检测准确率均达到较高水平。
国家层面，最高人民法院、最高人民检察院、公安部已发布指导意见，严惩利用生成式人工智能技术发布违法信息的行为。政协委员齐向东提出鼓励行业头部企业和专业安全厂商合作创新，探索“AI+安全”的实战应用；人大代表闵卫东和刘庆峰则分别建议加快研究数字技术防范人工智能风险，并制定相应法律法规，提升通用人工智能技术的可靠性和规范性。
尽管如此，构建有效对抗生成式AI风险的防线仍面临重重挑战，其中包括技术更新迭代的速度、客户需求的变化以及实际场景落地的复杂性。正如萧子豪所言，AI安全的最大挑战在于社会能否充分认识到问题的紧迫性，并积极采取行动，因为在攻击与防御这场永无止境的“追击战”中，防守方往往处于被动地位。
