基于复杂度的视觉特征依赖性分析
计算机视觉与模式识别
2024-10-29 v2 人工智能
摘要
最近的研究表明，深度学习模型对更简单特征的归纳偏好可能是捷径学习的一个来源。然而，关于模型学习的众多特征复杂度的理解仍有限。本文引入一种新指标，用于量化特征复杂度，基于 -information，并捕捉特征是否需要复杂的计算变换来提取。使用该 -information 指标，我们分析了 10,000 个特征的复杂度，这些特征代表为 ImageNet 标准训练的视觉模型中表示为最终层中方向的特征。我们的研究回答了四个关键问题：首先，我们探讨了特征随复杂度的样貌，发现模型中存在从简单到复杂特征的谱系。其次，我们探讨了特征在训练期间何时被学习。我们发现，较简单的特征在训练早期占主导，更复杂的特征则逐渐显现。其次，我们研究了简单特征和复杂特征在网络内部的流动方式，发现较简单的特征倾向于通过残差连接绕过视觉层级。最后，我们探讨了特征复杂度与其在驱动网络决策中的重要性之间的关系。我们发现，复杂特征倾向于不那么重要。意外的是，重要特征在训练早期即可被访问，就像沉积过程一样，使模型能够在这些基础元素之上构建。
引用
@article{arxiv.2407.06076,
title = {Understanding Visual Feature Reliance through the Lens of Complexity},
author = {Thomas Fel and Louis Bethune and Andrew Kyle Lampinen and Thomas Serre and Katherine Hermann},
journal= {arXiv preprint arXiv:2407.06076},
year = {2024}
}