谷歌和苹果的研究人员发现，LLM知道的远比表现出来的要多，其内部编码正确答案却依旧输出错误。 LLM内部表征所包含的真实性信息比以往要多得多，但目前仍存在误导性并难以在不同数据集之间泛化。研究员发现，LLM的检测器可能出现三种错误类型：正确信息采样错误、正确答案频率错误和错误答案频率错误。使用探测器选择答案可以提高大模型在所有检查任务中的准确性。 最终，研究人员解释了大模型内部编码和外部行为之间的差异，包括它们可能在内部编码了正确答案，却持续生成错误答案。此外，研究员还提出了针对这种现象的新方法，以改进机器学习系统的性能。



谷歌和苹果的研究人员发现，LLM（法律学位）学生对于他们领域的知识远超表面显示的水平。他们通过对LLM内部编码的研究发现，这些学生实际上对特定问题的理解比表面上更为深入。然而，他们的理解仍然受到内部编码错误的影响，导致在各种不同的数据集中做出不准确的决策。

研究者表示，LLM的检测器可能出现三种类型的错误：正确信息采样错误、正确答案频率错误和错误答案频率错误。正确信息采样错误是指检测器只选择了正确答案，而没有考虑到错误的答案。正确答案频率错误则意味着检测器频繁地将正确的答案标记为错误，而不是根据实际来决定。错误答案频率错误则是指检测器过于关注某个特定的答案，而忽视其他同样重要的信息。

为了更好地理解LLM内部编码和外部行为之间的差异，研究人员提出了一种新的方法。这种方法的核心是通过不断调整训练数据集中的问题来优化检测器的行为。具体来说，研究人员通过重新编译LLM的问题来引入新的挑战，从而使检测器能够更好地适应新的环境。
最后，研究人员解释说，LLM的学生们的理解力远远超过了他们的实际表现。他们不仅在大学期间就取得了优秀的成绩，而且在毕业后也找到了满意的工作。这是因为他们在学校里就已经学习到了如何理解和处理复杂的法律问题。
总的来说，LLM学生的知识深度远远超过传统意义上的知识，这主要是由于他们内在编码的深度。然而，他们仍然需要通过持续的学习和实践来提高自己的技能，以便在未来的工作中发挥更大的作用。