深度神经网络在视频上的鲁棒性保证
计算机视觉与模式识别
2020-04-07 v3 机器学习
图像与视频处理
摘要
深度学习模型的广泛采用对其鲁棒性提出了要求。本文中，我们考虑深度神经网络在视频上的鲁棒性，视频既包含由卷积神经网络提取的单个帧的空间特征，也包含由循环神经网络捕捉的相邻帧间时间动态。为度量鲁棒性，我们研究最大安全半径问题，其计算从给定输入获得的与输入邻域内对抗样本的光流序列之间的最小距离。我们证明，在 Lipschitz 连续性假设下，该问题可通过离散化光流空间用有限优化近似，且近似具有可证明的保证。我们随后展示该有限优化问题可利用协作设定下的双人回合制博弈求解，其中第一名玩家选择光流，第二名玩家决定所选流中待操控的维度。我们采用一种 anytime 方法求解该博弈，即通过单调改善其上下界来近似博弈值。我们利用基于梯度的搜索算法计算上界，并利用可采纳 A* 算法更新下界。最后，我们在 UCF101 视频数据集上评估我们的框架。
引用
@article{arxiv.1907.00098,
title = {Robustness Guarantees for Deep Neural Networks on Videos},
author = {Min Wu and Marta Kwiatkowska},
journal= {arXiv preprint arXiv:1907.00098},
year = {2020}
}
备注
To appear in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)