通过雅可比正则化稳定平衡模型
机器学习
2021-06-29 v1 机器学习
摘要
深度平衡网络（DEQs）是一类新型模型，其放弃传统深度而倾向于寻找单一非线性层的不动点。这些模型已被证明能以显著更少的内存实现与最先进深度网络相竞争的性能。然而它们也更慢、对架构选择脆弱，并给模型引入潜在的不稳定性。在本文中，我们提出一种针对 DEQ 模型的正则化方案，其显式正则化不动点更新方程的雅可比以稳定平衡模型的学习。我们表明该正则化仅增加极小计算成本，显著稳定了前向与反向传播中的不动点收敛，并良好扩展到高维真实领域（例如 WikiText-103 语言建模与 ImageNet 分类）。使用该方法，我们首次展示了一种以近似相同速度和性能水平运行如 ResNet-101 等流行常规深度网络、同时仍保持 DEQ 的常量内存占用与架构简洁性的隐式深度模型。代码见 https://github.com/locuslab/deq 。
引用
@article{arxiv.2106.14342,
title = {Stabilizing Equilibrium Models by Jacobian Regularization},
author = {Shaojie Bai and Vladlen Koltun and J. Zico Kolter},
journal= {arXiv preprint arXiv:2106.14342},
year = {2021}
}
备注
ICML 2021 Short Oral