评估时序动作检测模型对时序腐蚀的鲁棒性基准
计算机视觉与模式识别
2024-04-01 v1
摘要
时序动作检测（TAD）旨在定位长时段未剪辑视频中的动作位置并识别动作类别。尽管已有许多方法取得了令人瞩目的成绩，但其鲁棒性尚未得到充分研究。在实际应用中，我们注意到视频中的时序信息偶尔会被腐蚀，例如缺失或模糊的帧。有趣的是，现有方法即使仅一个帧受到影响，也常常会出现显著的性能下降。为正式评估鲁棒性，我们建立了两个时序腐蚀鲁棒性基准，即 THUMOS14-C 和 ActivityNet-v1.3-C。本文对七种领先的 TAD 方法进行了广泛的鲁棒性分析，获得了一些有趣的发现：1）现有方法对时序腐蚀尤其脆弱，端到端的方法往往比那些带有预训练特征提取器的方法更易受影响；2）脆弱性主要来自定位误差而非分类误差；3）当腐蚀发生在动作实例的中部时，TAD 模型倾向于产生最大的性能下降。除了构建基准之外，我们进一步开发了一种简单而有效的鲁棒训练方法，通过 FrameDrop 数据增强和时序鲁棒一致性损失来抵御时序腐蚀。惊人的是，我们的方法不仅提高了鲁棒性，还在干净数据上取得了令人瞩目的改进。我们认为本研究将为未来的鲁棒视频分析研究提供基准。源代码和模型可在 https://github.com/Alvin-Zeng/temporal-robustness-benchmark 获取。
引用
@article{arxiv.2403.20254,
title = {Benchmarking the Robustness of Temporal Action Detection Models Against Temporal Corruptions},
author = {Runhao Zeng and Xiaoyong Chen and Jiaming Liang and Huisi Wu and Guangzhong Cao and Yong Guo},
journal= {arXiv preprint arXiv:2403.20254},
year = {2024}
}
备注
Accepted by CVPR2024