最近，LLMs（Large Language Models）在多模态交互方面取得突破性进展，其中一种方案是基于预训练大模型搭配视觉感知模块，生成准确的多模态回复。然而，实验发现模型存在严重的视觉幻觉问题，表现为图像中不存在的物体、回答中对图片描述与事实不符等。针对这一问题，最近的研究引入了Grounding功能，使得模型不仅能输出名词短语所对应物体的边界框坐标，还能提供有关物体在图片中的位置的信息。虽然此类模型仍面临一些问题，如长方形物体边界框的表达能力不足等，但仍显示出巨大的潜力。

最近的研究已经取得了一些令人瞩目的成果，其中之一就是基于预训练大模型搭配视觉感知模块的多模态交互方式。这种方法可以让模型不仅可以生成准确的多模态回复，还能根据图片的提供相关的信息，解决由模型存在的视觉幻觉问题所带来的挑战。

然而，在实际操作中，这个方法也遇到了一些问题。例如，长方形物体边界框的表达能力不足就是一个明显的问题。这主要是因为在生成答案时，模型可能无法准确地识别出长方形物体的边界框。另一个问题是，模型可能会给出错误的回答，因为它需要依赖于输入的图片信息来确定对象的位置和特征。

因此，研究人员引入了一种新的技术，叫做Grounding功能。这种功能可以增强模型的输出，使其能够更准确地描绘出图片中的物体。 Grounding功能的基本思想是在模型生成答案后，通过提出与输入图片相似的问题来检测和纠正模型的答案。如果模型给出的答案不正确，那么就会提示用户“这是哪里？”，然后让用户去寻找正确的答案。

这种功能的有效性已经在一些研究中得到了验证。例如，一项在《计算机视觉》杂志上发表的研究就使用了Grounding功能，并发现了显著的效果。他们的研究发现，Grounding功能可以帮助模型更好地理解输入图片，从而生成更准确的答案。
总的来说，尽管LLMs在多模态交互方面的研究仍然面临一些挑战，但这些新的技术和功能正在不断地推动着这个领域的进步。通过引入Grounding功能，我们可以期待未来更多的研究成果出现，让LLMs在未来能更好地服务于我们的生活。