JFB：面向隐式网络的免雅可比反向传播
机器学习
2021-12-28 v4
摘要
深度学习中的一种有前景的趋势是用隐式网络取代传统的前馈网络。与传统网络不同，隐式网络通过求解不动点方程来计算推断结果。求解不动点的复杂度各异，取决于所给数据与误差容限。重要的是，隐式网络可以以固定内存代价进行训练，这与内存需求随深度线性增长的前馈网络形成鲜明对比。然而，天下没有免费的午餐——隐式网络的反向传播往往需要求解由隐函数定理引出的代价高昂的基于雅可比的方程。我们提出免雅可比反向传播（JFB），一种规避求解基于雅可比方程需求的固定内存方法。JFB 使隐式网络训练更快且显著更易实现，且不牺牲测试精度。我们的实验表明，在给定相同参数量下，用 JFB 训练的隐式网络与前馈网络及已有隐式网络具有竞争力。
引用
@article{arxiv.2103.12803,
title = {JFB: Jacobian-Free Backpropagation for Implicit Networks},
author = {Samy Wu Fung and Howard Heaton and Qiuwei Li and Daniel McKenzie and Stanley Osher and Wotao Yin},
journal= {arXiv preprint arXiv:2103.12803},
year = {2021}
}