面向视点不变视觉识别的对抗训练
计算机视觉与模式识别
2023-07-21 v1
摘要
视觉识别模型对3D世界中的视点变化并不具有不变性,因为不同观察方向在给定同一物体时可剧烈影响预测。尽管已有诸多努力使神经网络对2D图像平移与旋转不变,视点不变性却鲜有研究。由于多数模型以透视视图处理图像,仅基于2D输入难以施加对3D视点变化的不变性。受对抗训练在提升模型鲁棒性上成功的启发,我们提出视点不变对抗训练(VIAT)以改善常见图像分类器的视点鲁棒性。通过将视点变换视为攻击,VIAT被表述为极小极大优化问题:内层最大化基于新攻击GMVFool学习高斯混合分布刻画多样对抗视点,外层最小化通过对最坏情况对抗视点分布上的期望损失最小化训练视点不变分类器。为进一步提升泛化性能,引入分布共享策略,利用对抗视点在物体间的可迁移性。实验验证了VIAT在借助GMVFool生成的多样对抗视点提升各类图像分类器视点鲁棒性上的有效性。
引用
@article{arxiv.2307.10235,
title = {Towards Viewpoint-Invariant Visual Recognition via Adversarial Training},
author = {Shouwei Ruan and Yinpeng Dong and Hang Su and Jianteng Peng and Ning Chen and Xingxing Wei},
journal= {arXiv preprint arXiv:2307.10235},
year = {2023}
}
备注
Accepted by ICCV 2023