用于训练自编码器的线性约束非光滑优化
最优化与控制
2022-04-22 v3
摘要
针对一类两层神经网络中的自编码器训练，我们引入了一种带 范数惩罚的正则化极小化模型（RP）。我们证明，在温和条件下，RP 可作为一个精确罚函数模型，与原始正则化模型具有相同的全局极小点、局部极小点以及方向（d）平稳点。我们构造了一个有界盒区域，其中至少包含一个 RP 的全局极小点，并提出一种带 范数惩罚的线性约束正则化极小化模型（LRP）用于训练自编码器。设计了一种平滑近端梯度算法来求解 LRP。给出了该算法收敛到 RP 与 LRP 的广义 d-平稳点的证明。综合数值实验令人信服地说明了所提算法的效率与鲁棒性。
引用
@article{arxiv.2103.16232,
title = {Linearly-constrained nonsmooth optimization for training autoencoders},
author = {Wei Liu and Xin Liu and Xiaojun Chen},
journal= {arXiv preprint arXiv:2103.16232},
year = {2022}
}
备注
to be published in "SIAM Journal on Optimization"