架构对多光谱深度神经网络鲁棒性与可解释性的影响
计算机视觉与模式识别
2023-09-28 v2 机器学习
摘要
包含来自额外光谱波段（例如近红外）的信息可改善许多面向视觉任务的深度学习模型性能。将此类额外信息融入深度学习模型的方式多种多样，但最优融合策略尚未确定，且可能因应用而异。在一个极端，即所谓的“早期融合”，额外波段被堆叠为额外通道以获得具有三个以上通道的输入图像。在另一极端，即所谓的“晚期融合”，RGB与非RGB波段经由深度学习模型的独立分支处理，并在最终分类或分割层之前立即合并。本工作中，我们刻画了一系列采用不同融合方法的多光谱深度学习模型的性能，量化它们对不同输入波段的相对依赖程度，并评估其对影响一个或多个输入通道的自然图像损坏的鲁棒性。
引用
@article{arxiv.2309.12463,
title = {Impact of architecture on robustness and interpretability of multispectral deep neural networks},
author = {Charles Godfrey and Elise Bishoff and Myles McKay and Eleanor Byler},
journal= {arXiv preprint arXiv:2309.12463},
year = {2023}
}
备注
Comments welcome! V2: minor changes (author contact info updated, a few formatting issues fixed)