量化深度多光谱分割模型对自然扰动与数据投毒的鲁棒性
计算机视觉与模式识别
2023-05-22 v1 人工智能
机器学习
摘要
在俯视图像分割任务中，引入传统 RGB 通道之外的额外光谱波段可提升模型性能。然而，纳入这些额外数据如何影响模型对对抗攻击与自然扰动的鲁棒性仍不明确。就对抗鲁棒性而言，额外信息可能提升模型区分恶意输入的能力，或仅为攻击提供新途径与漏洞。就自然扰动而言，额外信息可能更好地辅助模型决策并削弱扰动效应，或完全无显著影响。本工作中，我们旨在刻画受对抗攻击与自然扰动影响的多光谱（RGB 与近红外）图像分割模型的性能与鲁棒性。现有对抗与自然鲁棒性研究主要聚焦于数字扰动，而我们优先创建考虑物理世界条件设计的真实扰动。对于对抗鲁棒性，我们关注数据投毒攻击；对于自然鲁棒性，我们着重扩展 ImageNet-C 中针对雾和雪的通用损坏，以连贯且自洽的方式扰动输入数据。总体而言，我们发现无论输入或融合架构如何，RGB 与多光谱模型均易遭数据投毒攻击；且尽管物理可实现的天然扰动仍会 degradation 模型性能，其影响因融合架构与输入数据而异。
引用
@article{arxiv.2305.11347,
title = {Quantifying the robustness of deep multispectral segmentation models against natural perturbations and data poisoning},
author = {Elise Bishoff and Charles Godfrey and Myles McKay and Eleanor Byler},
journal= {arXiv preprint arXiv:2305.11347},
year = {2023}
}