中文

利用梯度弹弓操纵特征可视化

机器学习 2026-01-21 v4 人工智能 计算机视觉与模式识别

摘要

特征可视化(Feature Visualization, FV)是一种广泛用于解释深度神经网络(Deep Neural Networks, DNNs)所学概念的技术,它合成能最大程度激活给定特征的输入模式。尽管该技术广受欢迎,但其解释的可信度却鲜受关注。我们引入了梯度弹弓(Gradient Slingshots)这一新颖方法,能在不修改模型架构或显著降低性能的情况下操纵特征可视化。通过在特征激活景观的分布外区域塑造新轨迹,我们迫使优化过程收敛到预定义的可视化结果。我们在多种深度神经网络架构上评估了该方法,展示了其将忠实特征可视化替换为任意目标的能力。这些结果揭示了一个关键漏洞:仅依赖特征可视化的审计者可能会接受完全伪造的解释。为降低此风险,我们提出了一种直接的防御措施,并定量证明了其有效性。

关键词

引用

@article{arxiv.2401.06122,
  title  = {Manipulating Feature Visualizations with Gradient Slingshots},
  author = {Dilyara Bareeva and Marina M. -C. Höhne and Alexander Warnecke and Lukas Pirch and Klaus-Robert Müller and Konrad Rieck and Sebastian Lapuschkin and Kirill Bykov},
  journal= {arXiv preprint arXiv:2401.06122},
  year   = {2026}
}

备注

Accepted to NeurIPS 2025