可微前向与后向不动点迭代层
机器学习
2020-06-16 v4 最优化与控制
机器学习
摘要
近来，若干研究提出在深度神经网络设计中利用某些类别的优化问题来编码常规层无法捕获的约束。然而，这些方法仍处于起步阶段，并且需要特殊处理，例如分析KKT条件以推导反向传播公式。在本文中，我们提出一种新的层形式，称为不动点迭代（fixed-point iteration，FPI）层，它促进了在深度网络中使用更复杂的操作。后向FPI层也被提出用于反向传播，其动机来自循环反向传播（recurrent back-propagation，RBP）算法。但与RBP不同，后向FPI层通过一个小网络模块产生梯度，而无需显式计算雅可比矩阵。在实际应用中，前向和后向FPI层均可作为计算图中的节点处理。所提方法中的所有组件都在高度抽象层面上实现，从而允许在节点上高效地进行高阶微分。此外，我们给出了FPI层的两个实用方法，FPI_NN和FPI_GD，其中FPI的更新操作分别是一个小的神经网络模块和基于可学习代价函数的单步梯度下降。FPI_NN直观、简单且训练快速，而FPI_GD可用于近期研究的能量网络的高效训练。尽管RBP及其相关研究尚未应用于实际示例，我们的实验表明FPI层可成功应用于图像去噪、光流和多标签分类等现实问题。
引用
@article{arxiv.2002.02868,
title = {Differentiable Forward and Backward Fixed-Point Iteration Layers},
author = {Younghan Jeon and Minsik Lee and Jin Young Choi},
journal= {arXiv preprint arXiv:2002.02868},
year = {2020}
}