通过反思 DNN 特征骨干网络实现对抗鲁棒且域可泛化的立体匹配
计算机视觉与模式识别
2021-09-24 v2 人工智能
摘要
基于深度神经网络（DNNs）的立体匹配近来取得了显著进展。但是，它们有多鲁棒？尽管众所周知 DNN 常因对抗脆弱性导致性能灾难性下降，但在立体匹配中情况更糟。本文首先表明一类弱白盒攻击可压倒最先进的方法。该攻击由所提出的立体约束投影梯度下降（PGD）方法在立体匹配中学习得到。这一观察对基于 DNN 的立体匹配部署提出了严重担忧。与对抗脆弱性并行，基于 DNN 的立体匹配通常在所谓的仿真到现实流水线下进行训练，因此域可泛化性是一个重要问题。本文提出通过完全移除可学习的基于 DNN 的特征骨干网络用于匹配，来反思面向对抗鲁棒且域可泛化立体匹配的可学习 DNN 特征骨干。实验中，所提方法在 SceneFlow 数据集与 KITTI2015 基准上测试，结果令人满意。我们使用原始输入立体图像经典的多尺度 census 变换（即局部二值模式）计算匹配代价体，随后由堆叠的 Hourglass 头子网络求解匹配问题。该方法显著提升了对抗鲁棒性，同时保持与最先进方法相当的精度性能。在未使用微调时，它还展现出从仿真（SceneFlow）到真实（KITTI）数据集更好的可泛化性。
引用
@article{arxiv.2108.00335,
title = {Towards Adversarially Robust and Domain Generalizable Stereo Matching by Rethinking DNN Feature Backbones},
author = {Kelvin Cheng and Christopher Healey and Tianfu Wu},
journal= {arXiv preprint arXiv:2108.00335},
year = {2021}
}