正则化注意力网络用于视觉问答中的异常检测
计算机视觉与模式识别
2022-04-12 v3 机器学习
摘要
为了现实世界应用的稳定性与可靠性，单模态任务中 DNN 的鲁棒性已得到评估。然而，很少有研究考虑视觉问答（VQA）模型在部署到现实世界后于测试时可能遇到的异常情况。在本研究中，我们评估了 SOTA VQA 模型对五类不同异常的鲁棒性，包括最坏情况、最常见情况以及 VQA 模型的当前局限。与单模态任务中的结果不同，VQA 模型中答案的最大置信度无法检测异常输入，且对输出进行如离群值暴露之类的训练后处理对 VQA 模型无效。因此，我们提出一种基于注意力的方法，其利用输入图像与问题之间推理的置信度，并展现出比单模态任务中先前方法更有前景的结果。此外，我们表明注意力网络的最大熵正则化能显著改善 VQA 模型的基于注意力的异常检测。得益于其简洁性，基于注意力的异常检测与正则化是与模型无关的方法，可用于 SOTA VQA 模型中各种跨模态注意力。结果表明，VQA 中的跨模态注意力对于提升 VQA 准确率以及针对各类异常的鲁棒性均十分重要。
引用
@article{arxiv.2009.10054,
title = {Regularizing Attention Networks for Anomaly Detection in Visual Question Answering},
author = {Doyup Lee and Yeongjae Cheon and Wook-Shin Han},
journal= {arXiv preprint arXiv:2009.10054},
year = {2022}
}
备注
16 pages, 7 figures, Accepted by AAAI-21