论类选择性神经元在训练早期的特殊作用
机器学习
2023-05-30 v1
摘要
人们普遍观察到，为分类训练的深度网络在其早期和中间层表现出类选择性神经元。有趣的是，近期研究表明这些类选择性神经元可被消融而不损害网络功能。但如果类选择性神经元并非必要，它们为何存在？我们试图通过在ImageNet上训练的ResNet-50系列实验来回答此问题。我们首先展示类选择性神经元在训练的最初几个周期内出现，随后迅速但并未完全消退；这表明训练网络中发现的类选择性神经元实际上是训练早期的退化残留。通过单神经元消融实验，我们进一步表明类选择性神经元在训练早期对网络功能十分重要。我们还观察到网络在该早期阶段接近线性机制；因此我们推测类选择性神经元在训练早期作为分类任务的准线性捷径解而出现。最后，在训练不同阶段对类选择性进行正则化的因果实验中，我们表明训练早期类选择性神经元的存在对网络的成功训练至关重要；相反，在训练后期抑制类选择性神经元对最终精度影响甚微。早期训练阶段类选择性神经元的存在以何种机制促进网络成功训练，仍有待理解。
引用
@article{arxiv.2305.17409,
title = {On the special role of class-selective neurons in early training},
author = {Omkar Ranadive and Nikhil Thakurdesai and Ari S Morcos and Matthew Leavitt and Stéphane Deny},
journal= {arXiv preprint arXiv:2305.17409},
year = {2023}
}