用于神经网络扩展的共享权重扩展器与梯度投票
机器学习
2025-09-24 v1
摘要
在训练过程中扩展神经网络是在不从头重新训练更大模型的情况下增强容量的一种有前景的方法。然而，新添加的神经元通常难以适应已训练的网络并变得不活跃，对容量增长没有贡献。我们提出了共享权重扩展器（SWE），这是一种明确设计用于通过将新神经元与现有神经元耦合以实现平滑集成来防止新神经元不活跃的新方法。同时，我们引入了最陡投票分配器（SVoD），这是一种在深度网络扩展过程中跨层分配神经元的基于梯度的方法。我们在四个数据集上的广泛基准测试表明，与其他扩展方法和基线相比，我们的方法能有效抑制神经元不活跃并实现更好的性能。
引用
@article{arxiv.2509.18842,
title = {Shared-Weights Extender and Gradient Voting for Neural Network Expansion},
author = {Nikolas Chatzis and Ioannis Kordonis and Manos Theodosis and Petros Maragos},
journal= {arXiv preprint arXiv:2509.18842},
year = {2025}
}
备注
5 pages, 3 figures