Delta-STN：利用结构化响应雅可比的高效神经网络双层优化
机器学习
2020-10-27 v1 机器学习
摘要
神经网络的超参数优化可优雅地表述为双层优化问题。尽管神经网络双层优化的研究一直由隐式微分与展开主导，诸如自调谐网络（STNs）等超网络近期因其能摊还内层目标的优化而获得关注。本文中，我们诊断了STN训练中的若干微妙病态。基于这些观察，我们提出-STN，一种改进超网络架构，其稳定训练并比STNs高效得多地优化超参数。关键思想聚焦于精确近似最佳响应雅可比而非完整最佳响应函数；我们通过重参数化超网络并围绕当前参数线性化网络来实现这一点。我们经实验证明，与现有方法相比，我们的-STN能以更高精度、更快收敛与更佳稳定性调谐正则化超参数（如权重衰减、dropout、cutout孔数）。
引用
@article{arxiv.2010.13514,
title = {Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians},
author = {Juhan Bae and Roger Grosse},
journal= {arXiv preprint arXiv:2010.13514},
year = {2020}
}
备注
Published as a conference paper at Neurips 2020