SGD 的无痛步长自适应
机器学习
2024-10-28 v1 神经与进化计算
摘要
收敛性与泛化性是神经网络性能的两个关键方面。当分别分析时，这些性质可能导致相互矛盾的结果。优化收敛速率可实现快速训练，但并不能保证最佳的泛化误差。为避免冲突，近期研究建议为优化器采用适度较大的步长，但其对性能的附加价值仍不明确。我们提出具有四种配置的 LIGHT 函数，其显式调节测试上收敛性与泛化性的改善。该贡献使得：1）在无需保证稳定性情形下改善神经网络的收敛性与泛化性；2）构建更可靠且可解释的、无需过参数化的网络架构。我们称之为“无痛”步长自适应。
引用
@article{arxiv.2102.00853,
title = {Painless step size adaptation for SGD},
author = {Ilona Kulikovskikh and Tarzan Legović},
journal= {arXiv preprint arXiv:2102.00853},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication