今年2月，一起震惊各界的案件揭示了Deepfake技术带来的潜在危害。一家香港跨国公司的员工陷入了一场由Deepfake技术伪造的“高管视频会议”骗局中，被指示将2亿港币转入不明账户，五日后才察觉被骗。这场骗局中的高管形象，是犯罪分子利用YouTube上公开的高管视频资料，通过Deepfake技术精心捏造的。
AI技术的发展，在为人类生活带来便捷的同时，也为不法分子开辟了新的犯罪途径。近日，ChatGPT与Sora这一王炸组合可能成为新的安全隐患。Deepfake深度伪造技术基于GAN模型，通过学习大量数据，能精准地合成人声、面部表情及身体动作制作虚假。随着大语言模型的飞速进步，其包含数十亿参数的庞大规模使得AI实现了质的飞跃，无疑也在推动Deepfake技术向着更为逼真的方向发展。
四川信息安全工程师林泉（化名）指出，算法优化使得训练图片数量需求大幅减少，而模型本身的精细化提升，如采用千万级图片进行训练，则进一步增强了Deepfake的真实性。此外，OpenAI于今年2月推出的文生视频模型Sora更是突破性地生成长达1分钟、多镜头、高清画质的长视频，革新了视频生成领域。然而，这种先进技术一旦落入诈骗者手中，其危害性将呈指数增长。据林泉透露，AI视频电话技术可使虚拟人物在不同背景中自如切换，而Sora尤为独特之处在于其视频连贯性的增强，甚至能够模仿人在行走中打视频电话的真实场景。他警示称，诈骗者可能会结合ChatGPT的文字聊天功能和Sora的视频生成能力，根据实时聊天动态生成视频画面，设计出更具欺骗性的诈骗手段。
现实情况印证了这一担忧。就在ChatGPT发布两个月后，网络安全公司Check Point发现网络犯罪分子已绕过ChatGPT的安全防护措施来生成恶意软件，并在暗网论坛中讨论如何借助聊天机器人改进恶意代码，包括编程经验不足的黑客也正在利用ChatGPT编写用于间谍活动、勒索软件、恶意垃圾邮件等各种非法目的的软件和电子邮件。
尽管方言一度被视为识破诈骗电话的有效方法，但AI合成方言语音的诈骗电话亦日益猖獗。广东地区多名网友在微博上反映接到了模拟亲人声音的诈骗电话。实际上，通过获取受害者的电话号码和地区信息，诈骗分子可以轻易发起针对特定地区的方言诈骗，即使失败成本极低。他们利用窃取的音频数据训练语音机器人或AI虚拟人，再通过病毒程序盗取通讯录信息和麦克风授权，伪装成亲友的声音实施诈骗。
更令人担忧的是黄赌毒诈骗，其中AI技术的应用让诈骗过程更加高效且难以辨别真伪。在这些骗局中，个人信息上传、赌局结果控制、直播画面以及聊天互动全部在诈骗平台内部完成，形成封闭循环，诈骗分子全面掌握受害者的金融信息。例如，通过AI实现美女荷官影像合成以及自动发牌，诈骗分子可以精确操控赌局输赢比例，诱导受害者不断投入资金，最终使其倾家荡产。
正如林泉强调的那样，诈骗行为本质上是由贪婪驱使，无论是否运用AI技术，只要有利益诱惑，总有一部分高超的技术犯罪分子试图牟利。因此，AI并未直接导致诈骗率上升，它只是工具，与电话和互联网一样具有双面性。我们应当在积极利用AI技术提高生活质量的同时，着力解决其发展中衍生出的问题，而非因噎废食，放弃对AI技术的探索与应用。
