正交化 SGD 与嵌套架构用于随时神经网络
机器学习
2020-08-18 v1 机器学习
摘要
我们提出一种新颖的 SGD 变体,专为训练支持随时行为的网络架构而定制:此类网络随时间产生一系列日益准确的输出。这些网络的高效架构设计侧重于重用内部状态;子网络必须产生既与即时预测相关、又能被后续网络阶段精炼的表示。我们考虑传统的分支网络以及一类新的递归嵌套网络。我们的新优化器 Orthogonalized SGD 在训练多任务网络时动态重新平衡任务特定梯度。在随时架构背景下,该优化器将来自较后输出的梯度投影到不与较早输出梯度相干扰的参数子空间上。实验表明,使用 Orthogonalized SGD 训练可显著提升随时网络的泛化精度。
引用
@article{arxiv.2008.06635,
title = {Orthogonalized SGD and Nested Architectures for Anytime Neural Networks},
author = {Chengcheng Wan and Henry Hoffmann and Shan Lu and Michael Maire},
journal= {arXiv preprint arXiv:2008.06635},
year = {2020}
}
备注
ICML 2020