Ruler 新基准定义“有效上下文”指标，减少对参数化知识的依赖，是针对大模型处理长文本理解能力进行评测的，新增四大类任务，涵盖检索、多跳追踪、聚合、问答，其中无效上下文长度要求达到32K，评价为“非常有洞察力”。

在当今的信息时代，大型模型对于长文本的理解和处理能力越来越重要。为了确保这些模型能够准确、高效地理解和处理复杂的数据，我们引入了新的基准——有效上下文长度（Effective Context Length, EL）指标。EL的引入不仅有助于提升模型的泛化能力和效率，而且可以有效地减少对参数化知识的依赖。

此外，EL的增加还带来了四大类任务：检索、多跳追踪、聚合和问答。这四大类任务分别涵盖了不同的场景，对于评估模型的全面性至关重要。

首先，检索是指模型需要从大量数据中快速找到所需信息的能力。这对于搜索引擎等应用来说尤为重要，因为用户往往希望快速找到他们想要的信息。有效的检索可以帮助模型更准确地定位目标，从而提高用户体验。

其次，多跳追踪则是指模型需要同时考虑多个相关因素的能力。例如，在推荐系统中，模型可能需要考虑到用户的历史行为、兴趣爱好等因素，以便提供个性化推荐。有效的多跳追踪可以帮助模型更好地理解和处理复杂的多因素情况。
然后，聚合是对大规模数据进行汇总和分析的能力。在新闻聚合、社交网络分析等领域，模型都需要处理大量的数据，并从中提取有价值的信息。有效的聚合可以帮助模型更快速、更准确地处理大规模数据。
最后，问答则是模集群体间的问题解答能力。在聊天机器人、智能客服等领域，模型需要与用户提供即时、准确的答案。有效的问答可以帮助模型提高用户的满意度和忠诚度。
总的来说，通过引入有效的上下文长度指标以及四大类任务，我们可以更加全面、深入地评估模型在处理长文本理解中的表现。这不仅可以帮助我们找出模型的优点和不足，还可以为未来的改进和优化提供依据。