深度学习交叉熵训练中的层分离优化框架
机器学习
2026-04-28 v1 最优化与控制
摘要
本文研究了以 softmax 交叉熵损失为目标的深度学习优化问题。我们提出了一种层分离策略来缓解在训练深层网络过程中遇到的强非凸性。对于采用全连接和卷积神经网络的交叉熵模型，我们引入与隐藏层输出相关的辅助变量，并构建相应的层分离模型，这些模型将原本深层嵌套的优化问题分解为一系列更易处理的子问题。我们还进行了理论分析，证明新的层分离损失为原始交叉熵损失提供上界。此外，我们设计了交替最小化算法并证明，在适当条件下，这些算法具有损失函数递减的特性。数值实验验证了所提方法的有效性，并表明优化行为得到改善，尤其是针对全连接和卷积神经网络。
引用
@article{arxiv.2604.23225,
title = {A Layer Separation Optimization Framework for Cross-Entropy Training in Deep Learning},
author = {Yaru Liu and Michael K. Ng and Yiqi Gu},
journal= {arXiv preprint arXiv:2604.23225},
year = {2026}
}