语用的问题敏感图像描述生成
计算与语言
2020-10-07 v2 计算机视觉与模式识别
摘要
图像描述生成系统近来取得了显著改进，但它们仍倾向于生成对描述应满足的交际目标不敏感的描述。为此，我们提出问题敏感图像描述生成（ISIC）。在 ISIC 中，描述生成系统给定目标图像和一个问题（issue），即一组以指定相关信息方式划分的图像。描述生成器的目标是生成解决该问题的描述。为建模此任务，我们使用了语用语言使用理性言语行为（Rational Speech Acts）模型的扩展。我们的扩展构建于最先进的预训练神经图像描述生成器之上，并显式推理我们所定义意义下的问题。我们通过实验证实这些模型生成的描述既高度描述性又对问题敏感，并展示了 ISIC 如何补充和丰富相关的视觉问答任务。
引用
@article{arxiv.2004.14451,
title = {Pragmatic Issue-Sensitive Image Captioning},
author = {Allen Nie and Reuben Cohn-Gordon and Christopher Potts},
journal= {arXiv preprint arXiv:2004.14451},
year = {2020}
}
备注
15 pages, 7 figures. EMNLP 2020 Findings Accepted