SGD 与自适应学习规则学到的表征：神经网络中稀疏性与选择性变化的条件
机器学习
2024-10-04 v3 人工智能
摘要
从人脑的角度看，持续学习可执行多种任务而互不干扰。减少相互干扰的一种有效途径在于神经元的稀疏性与选择性。据 Aljundi 等人与 Hadsell 等人，在表征层面施加稀疏性有利于持续学习，因为稀疏神经元激活减少参数间重叠，从而降低干扰。类似地，高选择性神经网络可能引起较少干扰，因为神经元的特定响应将减少与其他参数重叠的机会。考虑到人脑在生命周期内进行持续学习，寻找稀疏性与选择性自然出现的条件可为理解大脑功能提供洞见。本文研究在神经网络中自然增强稀疏性与选择性的多种条件。本文在 MNIST 分类任务中用 Hoyer 稀疏性度量与 CCMAS 选择性度量测试了不同优化器。必须指出，关于各条件下稀疏性与选择性自然出现的探讨至今未被神经科学或机器学习任何领域所认识。本文发现特定条件可增强稀疏性与选择性，如采用大学习率与减小批量大小。除条件、稀疏性与选择性间关系外，基于实证分析还将讨论：1. 稀疏性与选择性间的关系；2. 测试精度、稀疏性与选择性间的关系。
引用
@article{arxiv.2201.11653,
title = {Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural networks},
author = {Jin Hyun Park},
journal= {arXiv preprint arXiv:2201.11653},
year = {2024}
}