利用弹幕评论攻击视频识别模型
计算机视觉与模式识别
2022-01-12 v2
摘要
近期研究表明，深度神经网络（DNNs）易受对抗补丁的攻击，后者对输入引入可感知但局部的变化。然而，现有方法集中于在图像上生成对抗补丁，其在视频中的对应形式较少被探索。与图像相比，攻击视频更具挑战性，因为不仅需要考量空间线索，还需考量时间线索。为弥补这一差距，本文提出一种新颖的对抗攻击——弹幕评论（BSC）攻击，其利用BSC攻击视频识别模型。具体而言，对抗BSC由强化学习（RL）框架生成，其中环境设为目标模型，智能体负责选择每个BSC的位置与透明度。通过持续查询目标模型并接收反馈，智能体逐步调整其选择策略，以在非重叠BSC下实现高欺骗率。由于BSC可视为一种有意义的补丁，将其添加至干净视频不会影响人们对视频内容的理解，也不会引起人们的怀疑。我们进行了大量实验以验证所提方法的有效性。在UCF-101与HMDB-51数据集上，我们的BSC攻击方法在攻击三种主流视频识别模型时可达到约90%的欺骗率，同时仅遮挡视频中小于8%的区域。我们的代码见 https://github.com/kay-ck/BSC-attack。
引用
@article{arxiv.2110.15629,
title = {Attacking Video Recognition Models with Bullet-Screen Comments},
author = {Kai Chen and Zhipeng Wei and Jingjing Chen and Zuxuan Wu and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2110.15629},
year = {2022}
}