基于强化学习的视频模型鲁棒性评估
计算机视觉与模式识别
2025-06-09 v1 人工智能
机器学习
摘要
评估视频分类模型的鲁棒性与图像模型相比则非常具有挑战性，尤其是因为其增加了时间维度，导致复杂度和计算成本显著上升。一个关键挑战是保持扰动最小，以诱发错误分类。在本工作中，我们提出了一种多智能体强化学习方法（空间和时间），协同学习以识别给定视频的敏感空间和时间区域。这些智能体在生成细粒度扰动时考虑了时间一致性，从而实现更有效且视觉上不可察觉的攻击。我们的方法在 Lp 指标和平均查询次数方面均优于前沿解决方案。我们的方法支持自定义扰动类型，使鲁棒性评估更贴合实际应用场景。我们广泛评估了 4 个流行的视频动作识别模型，分别在 HMDB-51 和 UCF-101 数据集上进行测试。
引用
@article{arxiv.2506.05431,
title = {Robustness Evaluation for Video Models with Reinforcement Learning},
author = {Ashwin Ramesh Babu and Sajad Mousavi and Vineet Gundecha and Sahand Ghorbanpour and Avisek Naug and Antonio Guillen and Ricardo Luna Gutierrez and Soumyendu Sarkar},
journal= {arXiv preprint arXiv:2506.05431},
year = {2025}
}
备注
Accepted at the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) 2025