训练方法如何影响视觉模型的利用？
计算机视觉与模式识别
2024-10-21 v1 人工智能
机器学习
摘要
并非所有可学习参数（例如权重）对神经网络的决策函数贡献相同。事实上，有时可以将整个层的参数重置为随机值，而对模型的决策几乎没有影响。我们重新审视了早期研究架构和任务复杂性如何影响这一现象，并提问：这一现象是否也受到我们训练模型方式的影响？我们对一组多样化的ImageNet-1k分类模型进行了实验评估，以探索这一点，保持架构和训练数据不变，但改变训练流程。我们的发现表明，训练方法强烈影响哪些层对给定任务的决策函数变得关键。例如，改进的训练方案和自监督训练增加了早期层的重要性，同时显著未充分利用深层。相反，对抗训练等方法则表现出相反的趋势。我们的初步结果扩展了之前的发现，为理解神经网络的内部机制提供了更细致的视角。代码：https://github.com/paulgavrikov/layer_criticality
引用
@article{arxiv.2410.14470,
title = {How Do Training Methods Influence the Utilization of Vision Models?},
author = {Paul Gavrikov and Shashank Agnihotri and Margret Keuper and Janis Keuper},
journal= {arXiv preprint arXiv:2410.14470},
year = {2024}
}
备注
Accepted at the Interpretable AI: Past, Present and Future Workshop at NeurIPS 2024