具有稳定响应的神经元带来更好的泛化
机器学习
2022-11-02 v3
摘要
正则化可通过引入归纳偏置来缓解训练与推断之间的泛化差距。现有工作已从多种视角提出各类归纳偏置，然而无一从单个神经元类相关响应分布的视角探索归纳偏置。本文对该分布的特征进行了充分分析。基于分析结果，我们阐明神经元稳定性假说：对同类实例具有相似响应的神经元带来更好的泛化。相应地，我们提出一种称为神经元稳定性正则化（NSR）的新正则化方法，以降低神经元类内响应方差。基于复杂度度量，我们从理论上保证 NSR 对提升泛化性的有效性。我们在多层感知机、卷积神经网络和图神经网络上使用多领域的流行基准数据集进行了广泛实验，结果表明我们的神经元稳定性正则化以显著增益和低额外计算开销一致地优于模型的原始版本。
引用
@article{arxiv.2111.15414,
title = {Neuron with Steady Response Leads to Better Generalization},
author = {Qiang Fu and Lun Du and Haitao Mao and Xu Chen and Wei Fang and Shi Han and Dongmei Zhang},
journal= {arXiv preprint arXiv:2111.15414},
year = {2022}
}
备注
Accepted by NeurIPS'22