利用可解释人工智能对高光谱图像分析模型进行红队测试
计算机视觉与模式识别
2024-03-18 v2 人工智能
摘要
空间领域的遥感应用要求机器学习模型可靠、鲁棒且质量有保证，这使得红队测试成为识别和暴露潜在缺陷与偏差的关键方法。由于这两个领域各自独立发展，将红队测试策略整合到遥感中仍存在显著差距。本文介绍了一种方法，用于在 HYPERVIEW 挑战赛背景下，检验运行于高光谱图像上的机器学习模型，重点关注土壤参数估算。我们利用可解释人工智能领域的事后解释方法，对赢得 HYPERVIEW 挑战赛并启发 INTUITION-1 高光谱任务星载模型设计的最佳性能模型进行严格评估。我们的方法通过精确定位和验证关键缺陷，有效地对该模型进行了红队测试，并构建了一个仅使用 1% 输入特征、性能损失最高仅 5% 即可达到相当性能的模型。此外，我们提出了一种新颖的解释可视化方法，该方法整合了关于高光谱波段（波长）和数据变换的领域特定信息，以更好地适应高光谱图像分析模型的解释。
引用
@article{arxiv.2403.08017,
title = {Red Teaming Models for Hyperspectral Image Analysis Using Explainable AI},
author = {Vladimir Zaigrajew and Hubert Baniecki and Lukasz Tulczyjew and Agata M. Wijata and Jakub Nalepa and Nicolas Longépé and Przemyslaw Biecek},
journal= {arXiv preprint arXiv:2403.08017},
year = {2024}
}
备注
14 pages, 9 figures, ICLR 2024 Machine Learning for Remote Sensing (ML4RS) Workshop