PhotoBook 数据集：通过视觉接地对话建立共同基础
计算与语言
2019-06-27 v2 人工智能
计算机视觉与模式识别
摘要
本文介绍了 PhotoBook 数据集，这是一个大规模的英语视觉接地、任务导向对话集合，旨在研究对话过程中累积的共享对话历史。受对话分析开创性工作的启发，我们提出了一种数据收集任务，其表述为一项协作游戏，促使两名在线参与者利用图像视觉语境以及先前建立的指称表达来指代图像。我们提供了任务设置的详细描述以及对所收集的 2500 段对话的透彻分析。为进一步阐明该数据集的新颖特征，我们提出了一种指称消解基线模型，其使用简单方法考量在指称链中累积的共享信息。我们的结果表明，该信息对于消解后续描述尤为重要，并凸显了在对话交互中开发更复杂共同基础模型的需求。
引用
@article{arxiv.1906.01530,
title = {The PhotoBook Dataset: Building Common Ground through Visually-Grounded Dialogue},
author = {Janosch Haber and Tim Baumgärtner and Ece Takmaz and Lieke Gelderloos and Elia Bruni and Raquel Fernández},
journal= {arXiv preprint arXiv:1906.01530},
year = {2019}
}
备注
Updates 26-06-2019: Changed caption sizes to comply with the ACL style guidelines and corrected some references