ANNEXE：统一的Egocentric Interaction分析、回答与像素 grounding

以动作为中心的交互感知是人类环境交互研究中的一个关键分支，为开发下一代智能系统奠定了基础。然而，现有的以动作为中心的交互理解方法无法同时根据用户查询生成连贯的文本和像素级响应，缺乏适应不同下游应用需求的灵活性。为全面理解以动作为中心的交互，本文提出了一种新任务，即以动作为中心的交互推理与像素级 grounding（Ego-IRG）。以带查询的以动作为中心图像为输入，Ego-IRG是首个旨在通过三个关键步骤解析交互的任务：分析、回答和像素级 grounding，生成流畅的文本和细粒度的像素级响应。另一个挑战是现有数据集无法满足Ego-IRG任务的条件。为此，本文基于大量人工工作创建了Ego-IRGBench数据集，包含超过2万张以动作为中心的图像，160万个查询，以及关于交互的多模态响应。此外，我们设计了一个统一的ANNEXE模型，用于多模态大型语言模型生成文本和像素级输出，实现对以动作为中心交互的全面解释。在Ego-IRGBench上的实验表明，我们的ANNEXE模型在其他工作方法方面表现出色。