ICLR 2024 惊爆拒绝！Mamba 和 CogVLM 被拒背后，揭示论文评审的高标准与争议焦点
    近日，国际学习表征会议（ICLR 2024）最终接收结果出炉，其中备受瞩目的Mamba模型遭遇了意料之外的“滑铁卢”。这个曾被誉为Transformer强劲竞争者的新型选择性状态空间模型，在语言建模领域表现卓越，可匹敌甚至超越Transformer，并实现随上下文长度线性扩展和五倍推理吞吐量提升。然而，尽管获得了8/8/6/3的高分评价，Mamba却未能通过最后一关——被审稿人以评估方法存在重大争议为由彻底拒绝。
    在OpenReview页面上，审稿意见详细指出，Mamba缺少对Long Range Arena（LRA）基准测试的结果，而这一基准对于衡量长距离语言建模性能至关重要。审稿人强调，仅依赖困惑度作为主要评价指标并不足以全面证明模型的实际应用价值，特别是在考虑到Sun et al. (2021)和Zhang et al. (2023)的研究中关于困惑度局限性的讨论后。
    同样在此次ICLR评审中被拒的还有热门开源多模态大模型CogVLM，引发了学界对论文评审严谨性和研究价值判断标准的关注。
    回顾历史，十年前Word2vec的首篇论文也曾遭遇相似命运，在首届ICLR会议上被拒。然而，随着时间的推移，Word2vec逐渐展现出其深远影响力，并于去年荣获NeurIPS 2023的时间检验奖。这提醒我们，一篇论文的学术价值不会因一次会议的拒稿而被否定，真正的神作终将在时间的考验下证明自身。
    面对拒稿结果，Mamba和CogVLM团队应看到这是一个深入反思、完善实验设计、强化理论基础的机会。通过增加额外的实验来解决审稿人提出的实质性问题，这些模型或许能突破当前局限，开启自然语言处理新时代的大门。