无限宽两层 ReLU 神经网络的同伦松弛训练算法
机器学习
2024-10-08 v3 最优化与控制
摘要
在本文中，我们提出了一种称为同伦松弛训练算法（HRTA）的新型训练方法，旨在相比传统方法加速训练过程。我们的算法包含两种关键机制：其一为构建将线性激活函数与 ReLU 激活函数无缝连接的同伦激活函数；另一种技术涉及松弛同伦参数以增强训练精化过程。我们在神经正切核（NTK）框架下对该新方法进行了深入分析，揭示了显著改善的收敛速率。我们的实验结果，特别是在考虑更宽网络时，验证了理论结论。所提出的 HRTA 展现出对其他激活函数及深度神经网络的潜力。
引用
@article{arxiv.2309.15244,
title = {Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks},
author = {Yahong Yang and Qipin Chen and Wenrui Hao},
journal= {arXiv preprint arXiv:2309.15244},
year = {2024}
}