是什么泄露了答案？视频问答数据集上的问答偏差分析
计算与语言
2020-07-08 v1 计算机视觉与模式识别
机器学习
机器学习
摘要
视频问答数据集中的问答偏差会误导多模态模型过拟合于问答伪特征，并损害模型的泛化能力。理解这些问答偏差的强度及其来源，有助于社区更准确地衡量进展，并为研究者提供调试模型的见解。本文分析了流行视频问答数据集中的问答偏差，发现预训练语言模型无需使用任何多模态上下文信息即可正确回答37-48%的问题，远超5选1选择题20%的随机猜测基线。我们的消融研究表明，偏差可来自标注者以及问题类型。具体而言，训练中出现过的标注者更易被模型预测，且推理类、抽象类问题比事实类、直接类问题产生更多偏差。我们还通过实验证明，使用标注者不重叠的训练-测试划分可降低视频问答数据集的问答偏差。
引用
@article{arxiv.2007.03626,
title = {What Gives the Answer Away? Question Answering Bias Analysis on Video QA Datasets},
author = {Jianing Yang and Yuying Zhu and Yongxin Wang and Ruitao Yi and Amir Zadeh and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:2007.03626},
year = {2020}
}