通过激活聚类解释视觉模型训练的影响
计算机视觉与模式识别
2025-07-15 v4 机器学习
摘要
本文引入 Neuro-Activated Vision Explanations (NAVE),一种用于提取和可视化视觉模型编码器内部表征的方法。通过聚类特征激活,NAVE 可在无需微调的情况下提供有关已学习语义的洞见。利用目标局部化技术,我们展示 NAVE 的概念与图像语义相吻合。通过大量实验,我们分析了训练策略和网络结构对编码器表征能力的影响。此外,我们将 NAVE 应用于研究视觉 transformer 中的训练伪影,揭示了弱训练策略和偶然相关性如何降低模型性能。我们的发现将 NAVE 确立为后验模型检查和提升视觉模型透明度的有价值工具。
引用
@article{arxiv.2411.19700,
title = {Explaining the Impact of Training on Vision Models via Activation Clustering},
author = {Ahcène Boubekki and Samuel G. Fadel and Sebastian Mair},
journal= {arXiv preprint arXiv:2411.19700},
year = {2025}
}