腾讯科技《一线》刘雨点

2024 年 3 月 18 日，通用人工智能创业公司月之暗面（Moonshot AI）宣布在大模型长上下文窗口技术上取得新突破，Kimi 智能助手可支持 200 万字超长无损上下文，并于即日起开启产品“内测”。

据了解，Kimi 智能助手是月之暗面（Moonshot AI）基于自研千亿参数大模型打造的对话式 AI 助手产品，在 2023 年 10 月发布时支持约 20 万汉字无损上下文输入。不到半年，月之暗面将 Kimi 智能助手的无损上下文长度提升了一个数量级， 从 20 万字到 200 万字。据了解，由于没有采用常规的渐进式提升路线，月之暗面团队遇到的技术难度也指数级增加。为了达到更好的长窗口无损压缩性能，月之暗面的研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发，不走“滑动窗口”、“降采样”等技术捷径，攻克了很多技术难点。

“我们相信，大模型无损上下文长度的数量级提升，也会进一步帮助大家打开对AI应用场景的想象力，包括完整代码库的分析理解、可以自主帮我们完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等等。”月之暗面工程副总裁许欣然在媒体沟通会上表示，“无论是内存、算力还是网络带宽，历史上每一次基础技术的升级，都会解锁新的产品形态和应用场景。我们对 200 万无损上下文的 Kimi 可以带来哪些超出想象力的创新机遇充满期待。”

“通往通用人工智能（AGI）的话，无损的长上下文将会是一个很关键的基础技术。从 word2vec 到 RNN、LSTM，再到 Transformer，历史上所有的模型架构演进，本质上都是在提升有效的、无损的上下文长度。”月之暗面创始人兼CEO杨植麟此前表示，“上下文长度可能存在摩尔定律，但需要同时优化长度和无损压缩水平两个指标，才是有意义的规模化。”

据透露，从用户反馈看，20 万字的无损长上下文帮助他们打开了新的AI应用世界，但随着他们尝试更复杂的任务、解读更长的文档，依然会遇到对话长度超出限制的情况。这是大模型产品的无损上下文长度需要继续提升的一个直接原因。

结论：月之暗面（Moonshot AI）的新突破在大模型长上下文窗口技术上的成功表明，AI的应用场景将不再局限于单一的任务和任务。未来的AI将不仅仅是一个辅助工具，而是能够实现完整的代码库分析理解、智能体Agent等多样化任务，甚至超越人类的思维能力。这不仅将为人们的生活带来更多便利，也将推动AI技术的发展，使其成为人类生活的重要组成部分。
社会建议：
1. 技术研究应该更多地关注用户体验，避免无谓的技术堆砌，而应专注于提高长无损上下文的有效性和压缩率。
2. 鼓励创新和多元化应用，而不只是局限在现有的任务上，从而打开更多的AI应用领域。
3. 加强对于AI伦理的探讨和教育，确保AI的发展不会损害人类的利益和社会和谐。