# Mamba：Transformer挑战者虽遭ICLR拒绝，热度不减反增，年度最佳解读出炉
    近日，被寄予厚望的Transformer挑战者——Mamba，在学术界引发了广泛关注。尽管Mamba已被国际学习表征会议(ICLR)正式拒绝，但这并未影响其在研究圈内的“顶流”地位。一篇由牛津互联网研究院研究员Jack Cook撰写，曾在MIT、英伟达和微软任职的通俗解读文章新鲜出炉，迅速在网络上引发热议，并收获了众多网友点赞与收藏，甚至被誉为“年度最佳解读”。
    ### Mamba核心架构：基于S4的状态空间模型
    Mamba的核心架构建立在最新的状态空间模型（SSM）架构——S4之上。S4旨在通过中间状态h(t)将输入x(t)映射至输出y(t)，特别适合处理连续数据如音频、传感器数据和图像。
    S4通过连续参数矩阵A、B和C实现这一映射，体现在两个关键方程（Mamba论文中的1a和1b）。针对离散数据如文本，需要对SSM进行离散化处理，引入第四个特殊参数Δ，将连续参数转化为离散参数。转化后的离散方程（Mamba论文中的2a和2b）以递归形式运作，类似于RNN网络中每个时间步t中结合前一时间步ht−1的隐藏状态与当前输入xt生成新的隐藏状态ht。
    有趣的是，S4不仅能作为递归神经网络(RNN)使用，还能变形为卷积神经网络(CNN)。通过扩展离散方程计算h3时，可以预计算卷积核，进而用CNN方式高效计算y，表现为方程3a和3b。这两种循环和卷积形式在数学上是等价的，使得S4可根据应用场景灵活转换形态，同时保证输出的一致性。
    ### 第一个主要思想：可选性
    Mamba首次引入的重要创新理念是“可选性”。不同于S4中恒定不变的离散参数AB和C，Mamba使其根据输入变化，赋予模型选择性或输入依赖性。这意味着Mamba能够根据任务需求对输入的不同部分给予不同程度的关注，例如在句子理解中区分重要和次要词汇。
    然而，这种选择性带来了训练难题。由于离散参数不再固定，无法预先计算并保存卷积核，导致训练过程中不能采用高效的CNN模式，只能转而采用RNN模式。但RNN模式训练速度较慢，尤其是在面对长序列数据时。
    ### 第二个主要思想：无需卷积的快速训练
    为解决上述问题，Mamba提出了第二个重大创新点：在保持RNN模式下实现非常快速的训练。其灵感来源于扫描算法（即前缀和），利用并行计算技术显著加速训练过程。通过借鉴并行前缀和算法原理，Mamba发现在RNN模式下也可以实现近乎O(logn)的时间复杂度，从而大大提升训练效率。
    尽管最初的并行扫描实现并未达到理想效果，但在借鉴了FlashAttention工作后，通过应用内存感知平铺方法进行优化，最终使Mamba在所有序列长度上都超越了已知最快的Transformer实现FlashAttention-2。
    ### 实验结果与拒稿原因
    实验结果显示，Mamba在涉及语言、基因组学和音频等多个序列建模任务中表现出色，特别是在人类基因组项目DNA建模和钢琴音乐数据集音频建模方面达到了最先进的水平。而在语言建模任务上，Mamba即使在较小模型规模下也展现出卓越性能，优于同类尺寸的其他模型。
    遗憾的是，Mamba在提交ICLR评审的过程中遭到“二连拒”。审稿人提出的主要驳回理由包括缺乏在公认长序列建模基准LRA上的评估，以及仅依赖困惑度作为主要评价指标可能不足以反映生成性能。对此，有网友表示，论文接收与否并不总能准确反映其对社区的实际贡献价值。
    回顾历史，十年前Word2vec也曾遭遇ICLR的拒绝，但最终在NeurIPS获得了时间检验奖的认可。对于Mamba，我们不禁思考，时间是否会为其带来同样的“正名”机会？各界翘首以待，静观未来进展。