【新智元报道】MIT FutureTech的一项最新研究揭示了大模型能力的惊人增速，其结果显示LLM（大型语言模型）的能力每8个月翻一番，远超摩尔定律预测的速度！这一爆炸性发现意味着，当前硬件的发展可能即将无法满足大模型对计算力的需求。
    近日，来自MIT的研究团队针对LLM的性能提升速度进行了深入探究，并在《打破摩尔定律：大模型算力需求增速超越硬件发展》一文中指出，根据他们提出的算法进步模型估计，LLM的有效计算能力大约每8.4个月就能实现翻倍。这一增长速率不仅让传统的摩尔定律相形见绌，而且预示着未来我们或许将“养不起”日益强大的AI。
    论文地址：https://arxiv.org/pdf/2403.05812.pdf
    研究人员通过量化分析超过200个不同规模的语言模型，在WikiText-103、WikiText-2及Penn Treebank等高质量文本数据集上的表现，得出了上述结论。他们采用了一种衡量标准：如果一个算法或架构能在减少一半计算量的情况下达到相同效果，则认为其性能翻倍。
    图表数据显示，自2016年至2020年期间，LLM能力提升主要得益于算力的增长，而这种增速明显超过了硬件算力按照摩尔定律预测的两倍速增长。这一趋势不禁让人担忧，当AI的智能水平不断提升至可能产生意识时，其所需要的庞大计算资源将成为一个难以逾越的瓶颈。
    值得注意的是，英特尔首席执行官Pat Gelsinger并不赞同“摩尔定律已死”的观点，英特尔仍在努力通过各种技术和方法延续摩尔定律的生命力。然而，MIT的这项研究表明，无论硬件如何进步，大模型对算力需求的指数级增长似乎已经走在了前头。
    总之，这场关于算力与智能的赛跑中，大模型正以前所未有的速度疾驰，迫使整个科技行业重新审视现有的技术进步路径和未来规划。这不仅是一场关乎硬件极限的挑战，更是一个关乎人工智能发展前景的重大课题。