NOVAS：用于端到端学习与控制的基于自适应随机搜索的非凸优化
机器学习
2021-04-05 v3 系统与控制
系统与控制
最优化与控制
机器学习
摘要
在本工作中，我们提出将自适应随机搜索用作深度神经网络架构中通用非凸优化操作的构建模块。具体而言，对于位于网络某层且由某些网络参数参数化的目标函数，我们采用自适应随机搜索对其输出进行优化。该操作可微，且不妨碍反向传播过程中的梯度传递，从而使其能够作为组件融入端到端学习。我们研究了所提出的优化模块的性质，并在一个合成的能量基结构化预测任务上将其与两种现有替代方案进行基准比较，进一步展示了其在随机最优控制应用中的使用。
引用
@article{arxiv.2006.11992,
title = {NOVAS: Non-convex Optimization via Adaptive Stochastic Search for End-to-End Learning and Control},
author = {Ioannis Exarchos and Marcus A. Pereira and Ziyi Wang and Evangelos A. Theodorou},
journal= {arXiv preprint arXiv:2006.11992},
year = {2021}
}