I2EDL：交互式指令错误检测与定位

在持续环境下的视觉语言导航 (VLN-CE) 任务中，用户通过自然语言指令中的一系列低级动作指导自主智能体到达目标目标。然而，大多数现有方法未解决用户在提供此类指令时可能出错的情形（例如“向左转”而非“向右转”）。本文提出了一项新任务——持续环境下的交互式视觉语言导航 (IVLN-CE)，该任务允许智能体在VLN-CE导航期间与用户交互，以验证关于指令错误的疑虑。我们提出了交互式指令错误检测与定位器 (I2EDL)，在导航期间检测到指令错误后触发用户-智能体交互。我们利用预训练模块检测指令错误，并通过交叉引用文本输入与过往观察来定位指令中的错误位置。如此一来，智能体能够在不增加用户认知负担的情况下，对具体的指令部分进行纠错请求。我们在包含错误指令的数据集上评估了所提出的I2EDL方法，进而设计了一种新型指标——成功加权交互次数 (SIN)，以反映导航性能与交互效果。我们展示了该方法可对用户提出聚焦性的纠错请求，从而在最小化交互次数的同时提高导航成功率。