ResNet 训练的优化控制视角
机器学习
2025-06-27 v1 系统与控制
系统与控制
最优化与控制
摘要
我们提出了一种适用于标准体系结构和通用损失函数的 ResNet 训练表述，其反映了优化控制问题。我们建议通过对隐藏状态的中间输出施加与优化控制中的阶段成本项相对应的惩罚来连接两者。对于标准 ResNet，我们通过传递后续跳过连接和输出层来获取中间输出。我们展示了我们的训练动力学会使不必要的更深残差层的权重消失。这表明该方法具有理论依据的层次修剪策略的潜力。
引用
@article{arxiv.2506.21453,
title = {Towards an Optimal Control Perspective of ResNet Training},
author = {Jens Püttschneider and Simon Heilig and Asja Fischer and Timm Faulwasser},
journal= {arXiv preprint arXiv:2506.21453},
year = {2025}
}
备注
Accepted for presentation at the High-dimensional Learning Dynamics (HiLD) workshop at ICML 2025