多模态协作对话游戏中的指令澄清请求：任务及对 CoDraw 数据集的分析
计算与语言
2023-03-01 v1
摘要
在视觉指令跟随对话游戏中，当面对无法完全映射到世界中动作的模糊或欠指定指令时，玩家可启动修复机制。本工作中，我们在 CoDraw（一个现有的多模态协作对话游戏交互数据集）中标注了指令澄清请求（iCRs）。我们表明，该数据集包含由玩家为成功解决任务而自主决定澄清所产生的词汇与语义多样的 iCRs。在 9.9k 个对话中发现 8.8k 个 iCRs，CoDraw-iCR (v1) 是一个大规模自发 iCR 语料库，使其成为对话澄清数据驱动研究的宝贵资源。随后我们形式化并提供了两项任务的基线模型：判定何时提出 iCR 以及如何识别它们，以探究这些任务在多大程度上可从数据中学习。
引用
@article{arxiv.2302.14406,
title = {Instruction Clarification Requests in Multimodal Collaborative Dialogue Games: Tasks, and an Analysis of the CoDraw Dataset},
author = {Brielen Madureira and David Schlangen},
journal= {arXiv preprint arXiv:2302.14406},
year = {2023}
}
备注
Accepted to EACL 2023