生成易于理解的指代表达以用于目标识别
计算机视觉与模式识别
2019-08-30 v4
摘要
本文研究生成不仅正确指代物体而且能让人类快速找到它们的指代表达。随着目标相对显著性降低，识别所指物体本身变得更加困难。然而，现有研究将所有正确指代物体的句子视为同等良好，忽略了它们是否易于被人类理解。如果目标不显著，人类会利用其与周围显著上下文的关系来帮助听者更好地理解它。为从人类标注中提取该信息，我们的模型被设计用于从目标和环境中提取信息。此外，我们认为易于理解的句子是那些能被人类正确且快速理解的句子。我们通过使用人类定位所指物体所需的时间及其准确率对此进行了优化。为评估我们的系统，我们创建了一个新的指代表达数据集，其图像取自《侠盗猎车手5》（GTA V），并将目标限定为人物。实验结果表明了我们方法的有效性。我们的代码和数据集可在 https://github.com/mikittt/easy-to-understand-REG 获取。
引用
@article{arxiv.1811.12104,
title = {Generating Easy-to-Understand Referring Expressions for Target Identifications},
author = {Mikihiro Tanaka and Takayuki Itamochi and Kenichi Narioka and Ikuro Sato and Yoshitaka Ushiku and Tatsuya Harada},
journal= {arXiv preprint arXiv:1811.12104},
year = {2019}
}