基于骨架动作识别的图卷积神经网络鲁棒性的傅里叶分析
计算机视觉与模式识别
2024-01-02 v2
摘要
利用傅里叶分析，我们探究了用于基于骨架的动作识别的图卷积神经网络（GCNs）的鲁棒性与脆弱性。我们采用联合傅里叶变换（JFT），即图傅里叶变换（GFT）与离散傅里叶变换（DFT）的结合，来检验对抗训练的 GCNs 针对对抗攻击与常见扰动的鲁棒性。在 NTU RGB+D 数据集上的实验结果表明，对抗训练并未在对抗攻击与低频扰动之间引入鲁棒性权衡，而该权衡通常出现在基于卷积神经网络的图像分类中。这一发现表明，对抗训练是增强基于骨架的动作识别中对抗攻击与常见扰动鲁棒性的实用方法。此外，我们发现傅里叶方法无法解释针对骨骼部分遮挡扰动的脆弱性，这凸显了其局限性。这些发现拓展了我们对于 GCNs 鲁棒性的理解，并可能指导更鲁棒的基于骨架的动作识别学习方法的开发。
引用
@article{arxiv.2305.17939,
title = {Fourier Analysis on Robustness of Graph Convolutional Neural Networks for Skeleton-based Action Recognition},
author = {Nariki Tanaka and Hiroshi Kera and Kazuhiko Kawamoto},
journal= {arXiv preprint arXiv:2305.17939},
year = {2024}
}
备注
18 pages, 13 figures