探究深度学习多模态数据融合对对抗样本的脆弱性
计算机视觉与模式识别
2020-05-25 v1
摘要
深度学习多模态数据融合的成功似乎归功于对多个输入数据间互补信息的利用。相较于其预测性能,针对多模态融合模型鲁棒性的关注相对较少。本文研究了当前多模态融合模型是否利用互补智能来防御对抗攻击。我们对MFNet(一种用于语义分割的主要多光谱(RGB、热成像)融合深度学习模型)施加基于梯度的白盒攻击,如FGSM和PGD。我们证实,即便仅有一个传感器受到攻击,为更好预测而优化的多模态融合模型仍易受对抗攻击。因此,就对抗鲁棒性而言,难以断言现有多模态数据融合模型充分利用了多模态间的互补关系。我们相信,我们的观察为多模态数据融合的对抗攻击研究开辟了新视野。
引用
@article{arxiv.2005.10987,
title = {Investigating Vulnerability to Adversarial Examples on Multimodal Data Fusion in Deep Learning},
author = {Youngjoon Yu and Hong Joo Lee and Byeong Cheon Kim and Jung Uk Kim and Yong Man Ro},
journal= {arXiv preprint arXiv:2005.10987},
year = {2020}
}