具有非光滑积分方程约束的最优控制问题的强平稳性：在连续型深度神经网络中的应用
最优化与控制
2023-02-13 v1
摘要
受残差型神经网络（ResNet）的启发，本文研究受非光滑积分方程约束的最优控制问题。此类非光滑方程，例如，出现在分数阶深度神经网络（DNNs）的连续表示中。此处底层的不可微函数为 ReLU 或 max 函数。控制以非线性且乘性的方式进入，并且我们额外施加控制约束。由于不可微映射的存在，标准伴随微积分的应用被排除。我们借助非光滑映射的有限可微性质推导强平稳条件。传统方法对不可微函数进行光滑化，而我们最终的强平稳系统中不保留此类光滑性。因此，本工作也弥补了当前连续型神经网络在 ReLU 类激活函数方面存在的空白。
引用
@article{arxiv.2302.05318,
title = {Strong stationarity for optimal control problems with non-smooth integral equation constraints: Application to continuous DNNs},
author = {Harbir Antil and Livia Betz and Daniel Wachsmuth},
journal= {arXiv preprint arXiv:2302.05318},
year = {2023}
}