属性多样性决定 VQA 中的系统性泛化差距
机器学习
2024-10-08 v3 计算与语言
计算机视觉与模式识别
摘要
尽管现代神经网络常能泛化到熟悉概念的新组合，但促成此种组合性的条件长期悬而未决。本工作中，我们研究视觉问答中的系统性差距：即对曾见与未见物体属性组合进行推理时的性能差异。为测试，我们引入一个新的诊断数据集 CLEVR-HOPE。我们发现系统性差距不能靠增加训练数据量来缩小，却可通过增加训练数据多样性来缩小。具体而言，我们的实验表明，训练期间所见的不同属性类型组合越多，所得模型可预期的系统性越强。
引用
@article{arxiv.2311.08695,
title = {Attribute Diversity Determines the Systematicity Gap in VQA},
author = {Ian Berlot-Attwell and Kumar Krishna Agrawal and A. Michael Carrell and Yash Sharma and Naomi Saphra},
journal= {arXiv preprint arXiv:2311.08695},
year = {2024}
}
备注
36 pages, 27 figures, EMNLP 2024