基准测试时空模型抵御 corruptions 的鲁棒性
计算机视觉与模式识别
2022-08-23 v2
摘要
最先进的深度神经网络易受常见 corruptions（如由天气变化、系统误差与处理引起的输入数据退化、失真与扰动）攻击。尽管在分析与提升图像理解模型鲁棒性上已取得诸多进展，视频理解中的鲁棒性仍大抵未被探索。本文中，我们建立 corruption 鲁棒性基准 Mini Kinetics-C 与 Mini SSV2-C，其除图像空间 corruptions 外还考虑时间 corruptions。我们首次尝试对已有基于 CNN 与基于 Transformer 的时空模型的 corruption 鲁棒性进行详尽研究。该研究为鲁棒模型设计与训练提供若干指导：基于 Transformer 的模型在 corruption 鲁棒性上优于基于 CNN 的模型；时空模型的泛化能力意味着对时间 corruptions 的鲁棒性；模型 corruption 鲁棒性（尤指时间域鲁棒性）随计算成本与模型容量增强，这或与当前提升模型计算效率的趋势相悖。此外，我们发现针对图像相关任务的鲁棒性干预（如用噪声训练模型）可能对时空模型无效。
引用
@article{arxiv.2110.06513,
title = {Benchmarking the Robustness of Spatial-Temporal Models Against Corruptions},
author = {Chenyu Yi and Siyuan Yang and Haoliang Li and Yap-peng Tan and Alex Kot},
journal= {arXiv preprint arXiv:2110.06513},
year = {2022}
}
备注
Accepted to NeurIPs 2021 Dataset and Benchmark Track. Our codes are available on https://github.com/Newbeeyoung/Video-Corruption-Robustness