中文

特征强调:揭示自然图像中特征响应的是什么

计算机视觉与模式识别 2024-06-11 v2

摘要

解码神经网络视觉模型的努力需要全面理解控制图像中特征响应的空间和语义方面。大多数研究主要集中于归因方法,这些方法以热力图的形式提供解释,显示模型对给定特征的关注位置。然而,仅理解“在哪里”是不够的,因为许多研究已经指出了这些方法的局限性以及理解模型在关注焦点处识别了“什么”的必要性。与此同时,“特征可视化”提供了另一种解释神经网络特征的途径。该方法通过梯度上升合成最优图像,更清晰地揭示特征响应的是什么。然而,特征可视化仅提供每个特征的全局解释;它们不解释为什么特征对特定图像激活。在这项工作中,我们向可解释性工具包引入了一种新方法——“特征强调”,它能够同时传达任意输入图像中引起特征响应的位置和内容。其核心是,特征强调是基于图像种子(而非噪声种子)的特征可视化。我们发现,参数化、增强和正则化的特定组合能够生成同时类似于种子图像和目标特征的自然可视化结果。此外,我们验证了这些强调结果在模型中沿着自然回路被处理。我们将特征强调的具体实现作为Faccent库(Lucent的扩展)提供给社区。

关键词

引用

@article{arxiv.2402.10039,
  title  = {Feature Accentuation: Revealing 'What' Features Respond to in Natural Images},
  author = {Chris Hamblin and Thomas Fel and Srijani Saha and Talia Konkle and George Alvarez},
  journal= {arXiv preprint arXiv:2402.10039},
  year   = {2024}
}