对抗性VQA：评估VQA模型鲁棒性的新基准
计算机视觉与模式识别
2021-08-16 v2 计算与语言
摘要
受益于大规模预训练，我们见证了流行的视觉问答（VQA）任务上性能的显著提升。尽管进展迅速，这些SOTA模型在遭遇真实场景中的样本时是否鲁棒仍不清楚。为此，我们引入Adversarial VQA，一个通过对抗性人机协同循环过程迭代收集的新大规模VQA基准。通过该新基准，我们发现了若干有趣结论。(i) 令人惊讶的是，我们发现数据集收集过程中，非专家标注者可以轻松成功攻击SOTA VQA模型。(ii) 大规模预训练模型与对抗训练方法在新基准上的表现远差于标准VQA v2数据集，揭示了这些模型的脆弱性，同时证明了我们对抗性数据集的有效性。(iii) 当用于数据增强时，我们的数据集能有效提升模型在其他鲁棒VQA基准上的性能。我们希望我们的Adversarial VQA数据集能为社区中的鲁棒性研究提供新视角，并作为未来工作的宝贵基准。
引用
@article{arxiv.2106.00245,
title = {Adversarial VQA: A New Benchmark for Evaluating the Robustness of VQA Models},
author = {Linjie Li and Jie Lei and Zhe Gan and Jingjing Liu},
journal= {arXiv preprint arXiv:2106.00245},
year = {2021}
}
备注
To appear in ICCV 2021; Website: https://adversarialvqa.github.io/