[图片：杨耀东（来源：资料图）]
对齐器，实质上是一种颠覆性的大语言模型对齐新模式，立足于“通过修正未对齐答案与对齐答案间的残差”这一独特洞见，构建了高效且可扩展的对齐机制。（来源：arXiv）
在应用前景方面，对齐器展现出了三大核心价值：
1. 作为RLHF的有效补充：对齐器犹如大语言模型的智能强化外挂和补丁，它能有效解决当前稀疏奖励机制导致的RLHF不稳定性问题。通过对错误回答的学习修正，确保大模型能够稳定输出与人类价值观相契合的，从而摆脱对话结束时依赖的人工标注监督信号。
2. AI安全与治理的关键工具：轻便高效的对齐器为政府监管机构以及第三方组织提供了一种潜在可行的解决方案，无需大规模算力储备或直接访问大模型参数，就能实现高效对齐，并发布符合规范的对齐器版本，从而加强对AI系统的审计和监管。
3. 价值对齐的重要载体：面对如何确保大模型等人工智能系统遵循人类价值观（如公平、正义、善良等），并有效处理伦理与价值冲突的问题，对齐器以承载价值对齐功能的外挂模块形式出现，通过“价值修正”对大模型决策和输出进行额外指导，为实现价值对齐提供了切实可行的路径。（来源：arXiv）
在AI对齐领域中，如同ResNet在深度学习网络发展中的突破时刻，对齐器的诞生同样具有划时代的意义。自21世纪起，大规模神经网络的发展面临梯度爆炸或消失等问题，众多研究者虽不断调整架构却收效甚微。然而，ResNet的横空出世，通过引入残差学习思想解决了这些问题，使得深度网络层数得以大幅度扩展。
在通用模型时代，AI对齐——即确保AI系统与人类意图相符的需求日益凸显。然而，现行方法如RLHF存在复现难度高、人类奖励信号不一致、调参复杂且难以应用于API-Based模型（例如GPT-4/Claude）等问题。杨耀东课题组基于深厚的对齐领域研究经验预判到，必然存在一种高效且节省参数的对齐方法。
团队转换视角，认为让大模型修正“非对齐的回答”，相比直接生成“对齐的回答”更为容易。于是，他们首次将ResNet中的残差学习理念应用于大模型对齐，创造性地提出了对齐器概念。对齐器通过学习未对齐和对齐答案之间的残差，显著提升了对齐效果的效率。
实验中，杨耀东团队优化训练技巧，调整模型架构，在不同规模数据集上训练了多种尺寸的对齐器。一款仅7B参数的对齐器在单次训练后，就能够在涵盖闭源、开源、安全性对齐及非安全性对齐的11种大模型上平均提升帮助性和安全性21.9%和23.8%，其中对GPT-4的帮助性和无害性分别提高了17.5%和26.9%。此外，团队还验证了对齐器用于提升模型共情能力的可能性，经微调后的Aligner-7B和Aligner-13B能使GPT-4输出的共情能力提升超过50%。对齐器更进一步地指向了一个名为“超级对齐”的新方向，旨在解决强模型向弱模型对齐的难题，特别是在未来模型能力超越人类时，如何提供有效的监督信号。在这一方面，对齐器展示了实现“弱至强泛化和可扩展监督”的新颖解决方案。
日前，相关研究成果以《对齐器：通过弱至强校正实现有效调整》为题发表在arXiv上，由北京大学AI安全与治理中心独家完成，吉嘉铭、陈博远为第一，杨耀东担任通讯。（来源：https://aligner2024.github.io）
未来计划中，课题组将继续拓展对齐器的应用场景和技术迭代：
1. 发布不同版本和类型的对齐器，包括轻量级的0.5B、1.8B、2B模型，以及token-level和sentence-level的对齐器，验证修正范式在小模型上的表现并增强模型输出效率和推理能力。
2. 开发混合专家架构和流式化处理的对齐器，通过集成多个专项训练的对齐器，实现多维度、多价值的高效对齐。
3. 将对齐器思想融入前置模型架构中，针对特定参数层进行专项训练，减轻后续对齐压力，提高预训练模型的安全性和通用性。
4. 推出plus版本对齐器，针对代码、数学、音乐等领域定制对齐器，满足不同用户需求。
5. 将对齐器技术推广至文生视频大模型，如Sora、Pika等领域，通过对生成的微调来提升视频和图片的质量，使其更符合真实世界物理规律和视觉感受。
6. 利用对齐器协助实现可扩展监督，将其作为辅助提供奖励信号的助手，在复杂场景下提供精确的奖励监督信号，以解决超对齐问题。
值得一提的是，该课题组在AI安全与治理方面的贡献获得了广泛认可。他们撰写的全面综述论文“AI Alignment: A Comprehensive Survey”被美国商务部国家标准技术研究所（NIST）在其可信赖和负责任的人工智能研究项目中引用，提出的对齐循环框架在NIST的论文《对抗性机器学习：攻击与缓解的分类和术语》中得到了阐述。今后，课题组将持续深耕AI对齐领域，推动强人工智能与人类意图价值的深度融合与发展。
参考资料：
1. https://arxiv.org/abs/2402.02416
2. https://arxiv.org/abs/2310.19852
运营/排版：何晨龙
