用于超参数调优的神经速度
机器学习
2025-07-09 v1 人工智能
摘要
超参数调优（如学习率衰减和定义停止准则）通常依赖于监控验证损失。本文提出了 NeVe，一种动态训练方法，该方法基于“神经速度”的新颖概念来调整学习率并定义停止准则。神经速度测量每个神经元传递函数的变化率，并且是模型收敛的指标：甚至可以通过在网络中前向传播噪声来采样神经速度，从而减少对留出数据集的需求。我们的发现展示了神经速度作为高效优化神经网络训练的关键指标的潜力。
引用
@article{arxiv.2507.05309,
title = {Neural Velocity for hyperparameter tuning},
author = {Gianluca Dalmasso and Andrea Bragagnolo and Enzo Tartaglione and Attilio Fiandrotti and Marco Grangetto},
journal= {arXiv preprint arXiv:2507.05309},
year = {2025}
}
备注
Accepted to IJCNN 2025 (International Joint Conference on Neural Networks). 8 pages, 13 figures