训练卷积神经网络的庞特米上原理
最优化与控制
2025-08-26 v2
摘要
提出了一种用于训练带有 范数正则化的卷积神经网络 (CNN) 的新型批量顺序二次哈姆顿 (bSQH) 算法。该方法基于离散时间的庞特米最大原理 (PMP)。它使用前向和后向扫描，结合对增强哈姆顿函数的分层近似最大化，其中增强参数自适应选择。提出了一种确定该增强参数的方法，并对 bSQH 算法的损失减少和收敛性进行了理论分析和数值验证。在以稀疏 Enforcing 范数正则器为背景的图像分类实验中，结果表明该方法在全批和小批量模式下均有效。
引用
@article{arxiv.2504.11647,
title = {The Pontryagin Maximum Principle for Training Convolutional Neural Networks},
author = {Sebastian Hofmann and Alfio Borzì},
journal= {arXiv preprint arXiv:2504.11647},
year = {2025}
}
备注
To be released in 'SIAM Journal on Mathematics of Data Science'