用于Bregman优化器稀疏性控制的自适应正则化

稀疏训练可减少深度神经网络的内存和计算成本。然而，稀疏优化方法（例如添加$\ell_1$惩罚项）通常只能通过正则化参数$\lambda$间接控制稀疏度，其与最终稀疏率之间的映射并非线性。我们在实验中发现，这一参数对Bregman优化器特别敏感。具体而言，LinBreg和AdaBreg两种变体在达到相同稀疏度时，$\lambda$值相差最高可达两个数量级，这需要进行昂贵的试错扫描以实现用户指定的稀疏度。为此，我们提出一种自适应正则化方案，通过更新$\lambda$基于模型当前稀疏度与目标稀疏度之间的差异来实现。我们分析了 resulting 算法并在基于ECAPA-TDNN和ResNet34的自动说人验证任务上对其进行评估。该方法可靠地实现了75%至99%之间的稀疏率。它在早期训练期间比经oracle调优的非自适应基线更快收敛，并在相等误差率方面达到或超过其最终性能。我们进一步表明，自适应方案继承了其非自适应对应物的关键特性，包括对稠密基线的改进的类分布鲁棒性。