在近几年的社交媒体与影视剧中，父母辅导孩子写作业时发生的种种趣事与崩溃瞬间层出不穷，其中，“看图写话”这一小学语文常见题型更是成为此类现象频发的重要诱因。小学生们面对这类题目，常常给出天马行空、偏离主题的答案，让人啼笑皆非。然而，这一题型的设置初衷是为了培养孩子们的观察力和表达能力，为其日后的写作奠定坚实基础。
    如今，在模拟人类思维技术驱动下诞生的AI，正逐步挑战“看图写话”的难题。ChatGPT的爆火出圈，展示了大语言模型在对话问答、语言翻译、代码编写等多元领域的广泛影响力。在此基础上，科研人员正致力于为大语言模型配备视觉感知模块，使其具备多模态感知能力，能够根据图像生成相应描述或回答问题，如精准定位图片中的对象位置、依据图像信息进行场景描绘等。
    近期，新加坡国立大学的研究团队创新性地提出了名为pix2emb的方法，并基于此训练了一款名为NExT-Chat的多模态大模型。这款模型成功将对话、检测和分割融为一体，能应对复杂对象定位、区域描述及推理等多种对话场景。相关论文《NExT-Chat: An LMM for Chat, Detection and Segmentation》已在arXiv预印本平台上发表，其阵容中，张傲以博士研究生的身份担任第一，姚远作为博士后研究员承担通讯角色。
    值得注意的是，NExT-Chat相较于现有多模态大模型的一大突破在于实现区域级推理的能力，直接定位图像中对象的准确位置。目前多数多模态大模型仅能从整体理解图像，无法处理局部区域的推理任务。针对这一局限，研究者借鉴Pix2seq方法，将对象边界框坐标转化为大语言模型可理解的纯文本标记，进而预测对象位置。但这种方法在生成图像掩膜方面存在不足，无法精确表示对象位置。
    张傲及其团队因此提出pix2emb方法，创造性地将位置信息转化为特征形式，并通过编码解码器统一处理所有对象定位格式。他们引入了特殊标记用于触发定位解码，并嵌入对象位置信息，使模型能够在不同复杂场景下准确检测和分割目标对象。
    经过三个阶段的精心训练，NExT-Chat展现出卓越的性能。定性验证中，该模型不仅能在复杂场景下准确检测和分割对象，还能根据给定边界框生成详细的对象描述，甚至能对图像进行逻辑推理，提供详尽解释。定量验证上，NExT-Chat在与SOTA多模态大模型LLaVA、MiniGPT-4等的对比中，在视觉定位、区域描述等多个任务上表现出色。
    回顾整个研究历程，始于2023年6月，历时半年。研究团队最初目标是实现掩膜定位功能，但在验证过程中发现已有类似工作，于是决定扩展模型功能，使其不仅能描述多个物体位置，还增加了位置输入能力。此外，团队巧妙结合少量昂贵标注和大量廉价标注，有效降低了成本投入，同时保持模型性能不减。
    展望未来，该团队计划进一步提升NExT-Chat在检测、分割等方面的性能和效率，以便更好地将其应用于手机或其他终端设备。这项研究不仅揭示了人工智能在多模态理解上的新进展，更为教育领域带来了更多可能性，预示着AI在未来或许能更有效地辅助学生完成“看图写话”等富有挑战性的学习任务。