受控下降训练
最优化与控制
2023-03-17 v1 机器学习
摘要
在本工作中，基于最优控制理论发展了一种新颖的、基于模型的人工神经网络（ANN）训练方法。该方法通过扩充训练标签来稳健地保证训练损失收敛并提升训练收敛速率。在梯度下降训练的框架内提出了动态标签扩充，其中训练损失的收敛受到控制。首先，我们借助经验神经正切核（NTK）刻画训练行为，并借用系统与控制理论中的工具来分析局部与全局训练动态（如稳定性、可达性）。其次，我们提出通过虚构标签作为控制输入以及最优状态反馈策略来动态改变梯度下降训练机制。以此方式，我们强制实现局部 最优且收敛的训练行为。该新颖算法，即受控下降训练（Controlled Descent Training, CDT），保证了局部收敛。CDT 释放了 ANN 架构分析、解释与设计的新潜力。该方法在标准回归与分类问题上的适用性得到了验证。
引用
@article{arxiv.2303.09216,
title = {Controlled Descent Training},
author = {Viktor Andersson and Balázs Varga and Vincent Szolnoky and Andreas Syrén and Rebecka Jörnsten and Balázs Kulcsár},
journal= {arXiv preprint arXiv:2303.09216},
year = {2023}
}