CDiNN——凸差神经网络
机器学习
2021-04-06 v2 最优化与控制
摘要
具有 ReLU 激活函数的神经网络已被证明是通用函数逼近器，并将函数映射学习为非光滑函数。近来，在最优控制等应用中使用神经网络受到相当关注。众所周知，涉及非凸、非光滑函数的优化计算量大且收敛保证有限。此外，梯度下降/上升中所用优化超参数的选择显著影响所得解的质量。一种称为输入凸神经网络(ICNNs)的新架构将输出学习为输入的凸函数，从而允许使用高效凸优化方法。将 ICNNs 用于确定使输出最小的输入存在两个主要问题：将非凸函数学习为凸映射可能导致显著的函数逼近误差，且我们注意到现有表示无法捕捉如线性时滞系统这类简单动态结构。我们试图通过引入一种称为 CDiNN 的新神经网络架构来解决上述问题，该架构从数据中学习函数为多面体凸函数之差。我们还讨论，在某些情况下，可通过凸差优化从 CDiNN 获得最优输入且具备收敛保证，且每次迭代时问题被化简为线性规划问题。
引用
@article{arxiv.2103.17231,
title = {CDiNN -Convex Difference Neural Networks},
author = {Parameswaran Sankaranarayanan and Raghunathan Rengaswamy},
journal= {arXiv preprint arXiv:2103.17231},
year = {2021}
}