RGB-骨架动作识别的对抗鲁棒性：利用注意力模态重加权器
计算机视觉与模式识别
2024-07-30 v1
摘要
深度神经网络 (DNN) 已在众多计算机视觉任务中得到应用并实现了最先进 (SOTA) 的性能。然而，当 DNN 对由向自然样本添加人类难以察觉的对抗噪声创建的对抗样本进行预测时，仍会发生错误分类。这限制了 DNN 在安全关键领域的应用。为了增强模型的鲁棒性，先前的研究主要聚焦于单模态领域，如图像识别和视频理解。尽管多模态学习在诸多任务（如动作识别）中取得了优异性能，但针对 RGB-骨架动作识别模型鲁棒性的研究仍寥寥无几。本文系统性地探讨了如何提高 RGB-骨架动作识别模型的鲁棒性。我们最初对不同模态的鲁棒性进行经验分析，观察到骨架模态比 RGB 模态更具鲁棒性。基于此观察，我们提出了基于注意力的模态重加权器 (AMR)，该方法利用注意力层对两种模态进行加权，从而使模型能够学习更具鲁棒性的特征。我们的 AMR 具有即插即用特性，便于轻松集成到多模态模型中。为证明 AMR 的有效性，我们在多个数据集上进行了广泛实验。例如，与 SOTA 方法相比，AMR 在 NTU-RGB+D 60 数据集上针对 PGD20 攻击的改进幅度达 43.77%。此外，它还有效地平衡了不同模态之间鲁棒性差异。
关键词
引用
@article{arxiv.2407.19981,
title = {Adversarial Robustness in RGB-Skeleton Action Recognition: Leveraging Attention Modality Reweighter},
author = {Chao Liu and Xin Liu and Zitong Yu and Yonghong Hou and Huanjing Yue and Jingyu Yang},
journal= {arXiv preprint arXiv:2407.19981},
year = {2024}
}
备注
Accepted by IJCB 2024