面向鲁棒图像拼接：针对兼容攻击的自适应抵抗学习
计算机视觉与模式识别
2024-02-27 v1
摘要
图像拼接将不同视角拍摄的图像无缝集成到一张宽视场图像中。这种集成不仅拓宽了拍摄场景，还增强了计算机视觉应用中的整体感知。对于一对捕获的图像，人眼视觉系统难以察觉的细微扰动和失真往往会攻击对应点匹配，损害图像拼接算法的性能。针对这一挑战，本文首次尝试提高图像拼接对抗性攻击的鲁棒性。具体来说，我们引入了一种面向拼接的攻击（SoA），旨在放大重叠区域内的对齐损失，从而针对特征匹配过程。为了建立一个抗攻击模型，我们深入研究了拼接架构的鲁棒性，并开发了一种自适应对抗训练（AAT），以平衡抗攻击性与拼接精度。通过这种方式，我们缓解了常规对抗训练与良性模型之间的差距，确保了鲁棒性而不牺牲质量。在真实世界和合成数据集上的全面评估验证了SoA对拼接性能的恶化作用。此外，AAT作为一种对抗性扰动下更鲁棒的解决方案，提供了更优越的拼接结果。代码可在 https://github.com/Jzy2017/TRIS 获取。
引用
@article{arxiv.2402.15959,
title = {Towards Robust Image Stitching: An Adaptive Resistance Learning against Compatible Attacks},
author = {Zhiying Jiang and Xingyuan Li and Jinyuan Liu and Xin Fan and Risheng Liu},
journal= {arXiv preprint arXiv:2402.15959},
year = {2024}
}
备注
Accepted by AAAI2024