AdaBet：用于高效训练深度神经网络的无梯度层选择方法
机器学习
2026-03-04 v2
摘要
为了在边缘和移动设备上利用预训练神经网络，我们通常需要在计算和内存资源受限的情况下，高效地适应用户特定的运行时数据分布。使用目标数据集进行设备端重训练可以促进这种适应；然而，由于现代神经网络深度的不断增加，以及跨所有层进行基于梯度优化的计算开销，这种方法仍然不切实际。当前的方法通过选择部分层进行重训练来降低训练成本，然而它们依赖于标注数据、至少一次全模型反向传播或服务器端元训练；这限制了它们在受限设备上的适用性。我们引入了 AdaBet，这是一种无梯度的层选择方法，通过 Betti Numbers 分析激活空间的拓扑特征并仅使用前向传播来对重要层进行排序。AdaBet 能够选择具有高学习能力的层（这些层对重训练和适应至关重要），且无需标签或梯度。在十六对基准模型和数据集上对 AdaBet 进行评估，结果表明，与基于梯度的基线方法相比，AdaBet 的分类准确率平均提升了 2.5%，同时平均峰值内存消耗降低了 40%。
引用
@article{arxiv.2510.03101,
title = {AdaBet: Gradient-free Layer Selection for Efficient Training of Deep Neural Networks},
author = {Irene Tenison and Soumyajit Chatterjee and Fahim Kawsar and Mohammad Malekzadeh},
journal= {arXiv preprint arXiv:2510.03101},
year = {2026}
}
备注
Full Version accepted at CVPR 2026