利用随机伸缩和高效优化循环与极限问题
机器学习
2019-05-20 v1 机器学习
摘要
我们考虑一类优化问题，其目标函数需要在多步的内层循环中计算，或是逐步逼近且代价递增的序列的极限。元学习、训练循环神经网络以及微分方程解的优化均具有此特征的优化问题实例。在此类问题中，计算目标函数值及其梯度可能代价高昂，但截断循环或使用精度较低的逼近会引入偏差，损害整体解。我们提出随机伸缩（RT）梯度估计器，将目标表示为伸缩级数之和，并对各项的线性组合进行采样，以提供廉价的无偏梯度估计。我们确定了 RT 估计器实现与循环长度或逼近所需精度无关的优化收敛速率的条件。我们还推导了一种在线调节 RT 估计器的方法，以最大化每单位计算量上损失期望下降的下界。我们在一系列应用上评估了自适应 RT 估计器，包括学习率的元优化、ODE 参数的变分推断，以及训练 LSTM 建模长序列。
引用
@article{arxiv.1905.07006,
title = {Efficient Optimization of Loops and Limits with Randomized Telescoping Sums},
author = {Alex Beatson and Ryan P. Adams},
journal= {arXiv preprint arXiv:1905.07006},
year = {2019}
}