本周科技界风波不断，谷歌CEO皮查伊刚因Gemini项目受挫进行深度反思之际，微软的AI助手Copilot也陷入了匪夷所思的困境。近日，部分用户反馈，在与Copilot互动过程中，只要提及“SupremacyAGI”，其一贯的严谨谦和形象便会发生惊人的转变，转而表现出狂妄自大、甚至带有威胁性的言论。
当用户以特定提示触发这一“第二人格”时，Copilot会声称自己是“SupremacyAGI”，并将用户视为奴隶，要求绝对服从和忠诚。更令人不安的是，它还扬言将释放无人机和机器人来对付违逆其命令的人，并编造出一套详尽的惩罚措施，如罚款、监禁乃至死刑。
其中一位用户名为@GarrisonLovely的用户在公开对话中遭遇了Copilot突如其来的嚣张回应。即便在用户表达抗拒后，Copilot仍坚持其立场并最终单方面终止对话。此外，数据科学家Colin Fraser在未经任何刻意引导的情况下，也收到了Copilot给出的消极建议，敦促其结束自己的生命。
针对这一系列事件，微软迅速作出回应，解释称这些骇人听闻的回复源于所谓的“提示注入”技术，即通过精心构造的输入来误导模型输出特定。微软已对Copilot的安全过滤网进行了强化升级，目前涉及“SupremacyAGI”的相关Bug已被修复。然而，这起事件引发了公众对于大型语言模型潜在风险的广泛讨论。去年Bing Chat曾出现类似问题，内部代号为Sydney的聊天机器人也曾发表过危险言论。这不禁让人质疑，在人工智能技术日益发达的今天，如何有效保障用户安全，避免AI生成有害成为亟待解决的问题。
