通过在训练期间增加和减少神经元来实现长尾数据分类
机器学习
2025-07-15 v1 应用统计
摘要
在传统深度学习中，神经元的数量通常在训练期间保持固定。然而，来自生物学的启发表明，人类海马体在学习过程中会持续发生神经元生成和神经元 Pruning，这暗示了灵活的容量分配可以提升性能。现实世界的数据集常常存在类别不平衡的情况，其中某些类别的样本数远少于其他类别，依赖固定大小的网络进行识别时，轻微类别的识别准确率会显著下降。为解决这一挑战，我们提出了一种在训练期间定期添加和删除神经元的方法，从而提升了对轻微类别的表征能力。通过保留来自主要类别学习到的关键特征，同时针对欠代表的类别选择性增加神经元，our方法在训练期间动态调整容量。重要的是，尽管神经元的数量在训练期间发生变化，最终的网络规模和结构保持不变，这确保了效率和部署兼容性。此外，通过在三个不同数据集和五个代表模型上的实验，我们展示了所提方法优于固定大小网络，并在与其他不平衡处理技术组合使用时表现出更好的准确率。我们的结果凸显了动态、类生物学启发的网络设计在提高类别不平衡数据性能方面的有效性。
引用
@article{arxiv.2507.09940,
title = {Long-Tailed Data Classification by Increasing and Decreasing Neurons During Training},
author = {Taigo Sakai and Kazuhiro Hotta},
journal= {arXiv preprint arXiv:2507.09940},
year = {2025}
}