优化诱导的平衡网络
机器学习
2021-06-08 v3 神经与进化计算
摘要
隐式平衡模型，即由隐式方程定义的深度神经网络（DNNs），近来正变得愈发引人关注。本文研究一个新兴问题：隐式平衡模型的平衡点能否被视为某优化问题的解？为此，我们首先将DNNs分解为一类新的单元层，该层是隐式凸函数邻近算子同时保持输出不变。进而可导出该单元层的平衡模型，命名为优化诱导的平衡网络（OptEq），其可轻松扩展至深层。OptEq的平衡点可在理论上与其对应显式目标的凸优化问题的解相联系。基于此，我们可灵活地向平衡点引入先验性质：1）显式修改底层凸问题以改变OptEq的架构；以及2）将信息合并入不动点迭代，当不动点集非单点时可保证选取期望的平衡点。我们表明深度OptEq即便参数更少也优于以往的隐式模型。本工作朝基于优化指导的深度模型设计迈出了第一步。
引用
@article{arxiv.2105.13228,
title = {Optimization Induced Equilibrium Networks},
author = {Xingyu Xie and Qiuhao Wang and Zenan Ling and Xia Li and Yisen Wang and Guangcan Liu and Zhouchen Lin},
journal= {arXiv preprint arXiv:2105.13228},
year = {2021}
}