利用梯度弹弓操纵特征可视化
机器学习
2026-01-21 v4 人工智能
计算机视觉与模式识别
摘要
特征可视化(Feature Visualization, FV)是一种广泛用于解释深度神经网络(Deep Neural Networks, DNNs)所学概念的技术,它合成能最大程度激活给定特征的输入模式。尽管该技术广受欢迎,但其解释的可信度却鲜受关注。我们引入了梯度弹弓(Gradient Slingshots)这一新颖方法,能在不修改模型架构或显著降低性能的情况下操纵特征可视化。通过在特征激活景观的分布外区域塑造新轨迹,我们迫使优化过程收敛到预定义的可视化结果。我们在多种深度神经网络架构上评估了该方法,展示了其将忠实特征可视化替换为任意目标的能力。这些结果揭示了一个关键漏洞:仅依赖特征可视化的审计者可能会接受完全伪造的解释。为降低此风险,我们提出了一种直接的防御措施,并定量证明了其有效性。
引用
@article{arxiv.2401.06122,
title = {Manipulating Feature Visualizations with Gradient Slingshots},
author = {Dilyara Bareeva and Marina M. -C. Höhne and Alexander Warnecke and Lukas Pirch and Klaus-Robert Müller and Konrad Rieck and Sebastian Lapuschkin and Kirill Bykov},
journal= {arXiv preprint arXiv:2401.06122},
year = {2026}
}
备注
Accepted to NeurIPS 2025