通过对抗训练提升视觉识别的视角鲁棒性
计算机视觉与模式识别
2023-07-24 v1
摘要
在三维世界中，视角不变性对于视觉识别仍具挑战性，因为改变观察方向会显著影响同一物体的预测。尽管已投入大量努力使神经网络对 2D 图像平移和旋转不变，视角不变性却很少被研究。受对抗训练在增强模型鲁棒性方面成功的启发，我们提出视角不变对抗训练（VIAT）以提升图像分类器的视角鲁棒性。将视角变换视为一种攻击，我们将 VIAT 表述为一个极小极大优化问题，其中内部最大化通过基于所提攻击方法 GMVFool 学习高斯混合分布来刻画多样的对抗视角。外部最小化通过最小化最坏情况视角分布上的期望损失来获得视角不变分类器，该分布对同一类别中不同物体可共享同一个。基于 GMVFool，我们贡献了一个称为 ImageNet-V+ 的大规模数据集以基准测试视角鲁棒性。实验结果表明，VIAT 基于 GMVFool 生成的对抗视角的多样性显著提升了多种图像分类器的视角鲁棒性。此外，我们提出 ViewRS，一种认证视角鲁棒性方法，提供认证半径与准确率，从理论角度证明 VIAT 的有效性。
引用
@article{arxiv.2307.11528,
title = {Improving Viewpoint Robustness for Visual Recognition via Adversarial Training},
author = {Shouwei Ruan and Yinpeng Dong and Hang Su and Jianteng Peng and Ning Chen and Xingxing Wei},
journal= {arXiv preprint arXiv:2307.11528},
year = {2023}
}
备注
14 pages, 12 figures. arXiv admin note: substantial text overlap with arXiv:2307.10235