一个用于艺术视觉问答的数据集与基线方法
计算机视觉与模式识别
2020-08-31 v1 计算与语言
摘要
回答与艺术品（绘画）相关的问题是一项困难任务，因为它既要求理解图像中所呈现的视觉信息，也要求通过艺术史研究获得的语境知识。在本工作中，我们介绍构建新数据集的首次尝试，称之为 AQUA（Art QUestion Answering，艺术问答）。问答（QA）对利用基于现有艺术理解数据集中所提供的绘画与评论的先进问题生成方法自动生成。QA 对由众包工作者就其语法正确性、可答性与答案正确性进行清洗。我们的数据集天然由视觉（基于绘画）与知识（基于评论）问题构成。我们还提出一个双分支模型作为基线，其中视觉与知识问题被独立处理。我们广泛地将基线模型与最先进（SOTA）的问答模型进行比较，并针对艺术视觉问答的挑战与潜在未来方向提供全面研究。
引用
@article{arxiv.2008.12520,
title = {A Dataset and Baselines for Visual Question Answering on Art},
author = {Noa Garcia and Chentao Ye and Zihua Liu and Qingtao Hu and Mayu Otani and Chenhui Chu and Yuta Nakashima and Teruko Mitamura},
journal= {arXiv preprint arXiv:2008.12520},
year = {2020}
}