关于训练ResNet中交叉熵损失的耗散性
机器学习
2024-05-30 v1 系统与控制
系统与控制
最优化与控制
摘要
ResNet和神经常微分方程的训练可以从最优控制的角度进行表述和分析。本文通过将交叉熵的一种变体作为阶段成本中的正则化项，提出了ResNet和神经常微分方程在分类问题中训练的耗散性表述。基于训练的耗散性表述，我们证明了训练后的ResNet表现出转向现象。然后，我们通过在两个螺旋数据集和MNIST数据集上进行训练，说明了训练中的转向现象。这可用于找到适合给定分类任务的非常浅的网络。
引用
@article{arxiv.2405.19013,
title = {On Dissipativity of Cross-Entropy Loss in Training ResNets},
author = {Jens Püttschneider and Timm Faulwasser},
journal= {arXiv preprint arXiv:2405.19013},
year = {2024}
}