论问题编码器序列模型在视觉问答分布外性能中的重要性
计算机视觉与模式识别
2021-12-22 v2
摘要
超越经验泛化在开发实用 AI 系统中具有重要作用。已有研究表明，当前视觉问答（VQA）模型过度依赖来自训练集的语言先验（问题类型与其最常见答案间的伪相关），并在分布外（OOD）测试集上表现不佳。这种行为限制了其泛化能力，并阻碍其在现实场景中的应用。本文表明，问题编码器中使用的序列模型架构对 VQA 模型的泛化能力具有重要作用。为证明这一点，我们对多种现有的基于 RNN 和基于 Transformer 的问题编码器进行了详细分析，同时提出了一种新颖的基于图注意力网络（GAT）的问题编码器。我们的研究发现，即便不使用任何额外的相对复杂的偏置缓解方法，问题编码器中更优的序列模型选择也能改善 VQA 模型的泛化能力。
引用
@article{arxiv.2108.12585,
title = {On the Significance of Question Encoder Sequence Model in the Out-of-Distribution Performance in Visual Question Answering},
author = {Gouthaman KV and Anurag Mittal},
journal= {arXiv preprint arXiv:2108.12585},
year = {2021}
}