LLM在各数学benchmark上的超高正确率引发争议。Epoch AI联合顶尖数学家推出全新挑战性测试——FrontierMath，旨在捕捉当前数学领域的概貌。测试包含数百道新颖、难题重重的问题，但LLM表现平平，正确率仅达2%。Epoch AI称，现有数学benchmark已被LLM刷烂，其原因主要是因为数据污染。相比传统基准测试，FrontierMath的目标更聚焦于新问题和低猜难度，LLM的真实水平由此暴露无遗。菲尔兹奖得主也表示服气，证明FFortierMath在验证准确性方面优于其他现有的数学测试。

LLMs在各个数学benchmark上的高正确率引起了广泛的争议。许多人都认为这些算法的表现优秀，然而，在最新一轮的FrontierMath挑战中，LLM的表现却令人大跌眼镜。这究竟是为什么呢？
在新的测试中，我们发现许多难题并未被LLM轻松解决。其中，许多题目都涉及到了抽象的概念和复杂的逻辑推理。这使得许多专家认为LLM在这个领域中已经接近完美。
然而，对于一些人来说，这并不是一个好消息。他们担心，LLM过于依赖已知的知识，并且对未知的新问题和困难反应迟钝。这可能会导致他们在面对新的挑战时无法给出准确的答案。
对此，_epoch AI首席执行官发表了自己的观点。他表示，LLM的真实水平已经得到了充分的展示。他解释说，与其通过传统的数学benchmark来评估LLM的性能，不如专注于其能够解决的新问题和难题的能力。
菲尔兹奖得主也对此表示了赞同。他指出，尽管LLM的表现可能与传统基准测试存在差距，但这并不意味着它不是一种有价值的工具。他认为，关键在于如何使用LLM，以及它能否帮助我们在学习和理解数学知识上取得进步。
总结起来，LLM在几何 benchmark 上的表现一直很出色，但在新的 FrontierMath 测试中，它的正确率却只有 2%。这引发了人们对于这个算法的重新审视。虽然有些专家认为LLM已经接近完美，但也有人担忧其弱点可能导致在面临新的挑战时无法给出准确的答案。epoch AI 的首席执行官表示，LLM的真实水平已经被充分的展示了，而菲尔兹奖得主则认为这是一个有价值的观点。因此，我们需要更多的思考和探索，以便更好地利用和改进LLM这一强大的数学工具。