超越任务成功：联合学习看、问与猜的细致考察
计算与语言
2019-03-18 v2 计算机视觉与模式识别
摘要
我们提出了一种基于视觉的对话状态编码器，解决了如何将视觉接地与对话系统组件相集成的基础性问题。作为测试平台，我们聚焦于GuessWhat?!游戏——一个双人游戏，其目标是通过提出一系列是非问题来识别复杂视觉场景中的物体。我们的视觉接地编码器利用猜测与提问之间的协同作用，因为它通过多任务学习进行联合训练。我们通过协作学习机制进一步丰富我们的模型。我们表明，联合架构与协作学习的引入均带来了相对于基线系统的准确率提升。我们将我们的方法与一个使用强化学习扩展基线的替代系统进行比较。我们的深入分析显示，尽管两个模型达到了相近的性能水平，它们的语言技能却存在显著差异。这指出了在基于任务成功率的数值比较之外，分析竞争系统语言输出的重要性。
引用
@article{arxiv.1809.03408,
title = {Beyond task success: A closer look at jointly learning to see, ask, and GuessWhat},
author = {Ravi Shekhar and Aashish Venkatesh and Tim Baumgärtner and Elia Bruni and Barbara Plank and Raffaella Bernardi and Raquel Fernández},
journal= {arXiv preprint arXiv:1809.03408},
year = {2019}
}
备注
Accepted to NAACL 2019