月之暗面北京办公室 (图片来源:钛媒体App拍摄)
继25亿美元估值炸场之后,杨植麟团队再扔下“震撼弹”。
钛媒体App获悉,3月18日上午,国内 AI 创业公司月之暗面(Moonshot AI)宣布在大模型长上下文窗口技术上取得新的突破,Kimi智能助手已支持200万字超长无损上下文,短短五个月内“长文本”输入量提升10倍,并于即日起开启产品“内测”。
18日上午,月之暗面工程副总裁许欣然对钛媒体App等表示,大模型无损上下文长度的数量级提升,也会进一步帮助大家打开对 AI 应用场景的想象力,包括完整代码库的分析理解、自主完成多步骤复杂任务的智能体Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。
许欣然强调,过去一段时间Kimi正不断提升大模型技术能力,尤其是更复杂的模型需求越来越多。而在整个过程当中,Kimi模型本身跟用户一直存在彼此相互促进增长的状态。
月之暗面创始人杨植麟博士表示,通往通用人工智能(AGI)的话,无损的长上下文将会是一个很关键的基础技术。历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化。
月之暗面联合创始人 周昕宇则向钛媒体App透露,月之暗面即将在今年内推出自研的多模态大模型。同时,商业化也在快速推进。
当被问及之前为何不做多模态模型时,周昕宇回应称,“如果拿出别人也有的东西,对于世界来说没有什么新价值,大家就不要再陷入‘百模大战’怪圈,我们不做跟随的东西。”
据悉,月之暗面成立于2023年3月,是国内大模型领域的关键玩家。其核心团队曾参与到Google、华为盘古、智源悟道等多个大模型研发中。
月之暗面创始人、CEO杨植麟本科毕业于清华大学,博士毕业于卡内基梅隆大学计算机专业,曾就职于Google Brain(谷歌大脑)和美国初创公司FAIR,师从苹果公司人工智能负责人Ruslan Salakhutdinov,有多年创业经验,曾与多名图灵奖得主合作发表论文,是盘古、悟道等国内最早大模型的技术贡献者。
同时,杨植麟还是中国35岁以下NLP(自然语言处理)领域引用最高的研究者,也是Transformer-XL和XLNet两篇重要论文的第一——两篇文章均为大语言模型领域的核心技术。而另两位联合创始人周昕宇和吴育昕都有超10000次Google Scholar引用。
人员方面,目前,月之暗面团队人数已超过80人。
融资方面,成立不到一年内,月之暗面就已完成两笔融资,总额超过13亿美元,投资方包括红杉中国、真格基金、小红书、美团、阿里等。今年2月的一笔融资成为国内AI大模型公司迄今获得的单轮最大金额融资。
两轮投资后,目前,月之暗面公司估值或达25亿美元。
技术产品层面,成立至今,月之暗面已完成从通用大模型到上层应用的布局。
其中,大模型基础层,月之暗面已训练千亿级别的自研通用大模型,并获得了国内大模型备案审批;应用层,2023年10月,月之暗面推出全球首个支持输入20万汉字的智能助手产品Kimi,支持20万汉字的长文本输入,主打无损记忆以及“长文本(Long Context)”,被网友称为ChatGPT中文平替,善于读长文、搜网页,可以用于会议纪要、辅助编程、文案写作等场景。
根据SimilarWeb显示,春节之后Kimi访问量大增。另据公开数据显示,2024年1月,Kimi智能助手的访问量142万,在大模型创业公司的“AI ChatBots”产品中排在第一;月环比增长率 94.1%,增长速度也在大模型创业公司排第一位。
许欣然表示,目前Kimi平均每个月可能都有100%以上的增速。
今天上午会议上,许欣然宣布,即日起,月之暗面旗下的Kimi Chat、Moonshot大模型将统一名称,分别更名为Kimi智能助手、Kimi大模型。
“我们就简化一下,以后统一让大家记住Kimi。”许欣然对钛媒体App等表示。
具体来说,相比此前20万字长度,更长的文本输入首先能带来的变化就是解锁更多超长任务、复杂任务。过去只能整理50份简历,现在可以线性增长至500份。
月之暗面团队提出“10分钟速成定律”,并指出Kimi快速学习一个新领域的能力,人类要10000小时才能成为专家的领域,AI只需要10分钟,就能接近任何一个新领域的初级专家水平。
许欣然展示百万字书籍的打印厚度
例如,上传几十万字的德州扑克的教程文档,再提出一个比赛开局,Kimi就可以分析比赛场上的局面,并提供出牌策略的指导;同时,kimi还能读懂近百万字中医诊疗手册、《甄嬛传》小说等,它都能一一解答。
此外,除了中英文,Kimi还能直接阅读代码库文件,然后用中文写出详细清晰的代码库设计文档,即便是毫无注释的陈年老代码也能快速梳理出结构。
月之暗面方面表示,从很多 Kimi 智能助手用户的反馈来看,20 万字的无损长上下文帮助他们打开了新的AI应用世界,带来了更大的价值,但随着他们尝试更复杂的任务、解读更长的文档,依然会遇到对话长度超出限制的情况。这也是大模型产品的无损上下文长度需要继续提升的一个直接原因。此外,Kimi 智能助手的智能搜索,更是离不开大模型的无损长上下文能力。
月之暗面指出,正是因为用户对Kimi发出的指令越来越复杂,因此团队也一直致力于提升Kimi能遵循的指令的复杂度、信息检索能力。同时由于用户的使用场景从工作逐渐扩展到生活的方方面面,团队在网页端之外补齐了微信小程序、iOS端以及安卓端等。
许欣然透露,Kimi充分发挥其作为“硅基生命”的优势,夜间也没歇着,持续不断地自我进化中。
周昕宇强调,出于用户共创的考虑,Kimi的定位比起“聊天机器人”更像一个“智能助手”,因为普通对话对大模型自身迭代的帮助有限。
会后对话交流中,周昕宇表示,对于呼声很高的提示词教程,目前已经在准备当中,预计一个月左右发布;同时,多模态模型也在不断研发,而音频处理能力、海外版同样在需求池内。
许欣然向钛媒体App表示,月之暗面的 AI Infra(基础设施)团队也在持续提升能效比,均是采用自研技术。据称比起刚发布时,Kimi在完全相同的硬件条件下响应速度提升了3倍。
目前,Kimi智能助手仍完全免费。但随着用户群体的扩大和使用量的增长,难免会出现算力不足的情况。许欣然透露,今年上半年预计开启商业化模式。
“我觉得这个东西都是付费。我们思考点不是从性价比来进行(商业化)。而是我们应该要帮助用户解决什么问题。在能解决问题的情况下,我们将商业化不断开放和规划,到时候你(客户)就知道哪个更好了。”周昕宇表示。
(本文首发钛媒体App,|林志佳)
月之暗面(Moonshot AI)的最新动态是,其在大模型长上下文窗口技术上的突破使其可支持200万字超长无损上下文,短短五个月内的输入量提升了10倍。这一突破将进一步推动大家打开对AI应用场景的想象力。