面向理解训练神经网络线搜索近似的实证研究
机器学习
2019-09-17 v1 机器学习
摘要
选择合适的步长对降低大规模神经网络模型训练的计算成本至关重要。小批量子采样（MBSS）常因计算可行性而被采用。然而，MBSS引入了采样误差，可在线搜索中表现为偏差或方差。这是因为MBSS可以静态执行（仅当搜索方向改变时更新小批量），或动态执行（每次函数求值时更新小批量）。静态MBSS沿搜索方向产生平滑损失函数，反映估计“真实”（或全批量）最小值的低方差但大偏差。相反，动态MBSS沿搜索方向产生逐点不连续函数，可用反向传播计算梯度，反映估计“真实”（或全批量）最小值的高方差但较低偏差。本研究考虑二次线搜索近似，以研究动态MBSS损失函数的函数与导数信息构建近似的质量。我们进行了实证研究，以不同方式在二次近似中强制施加函数与导数信息。各类神经网络问题的结果表明，选择性地强制施加信息有助于降低预测步长的方差。
引用
@article{arxiv.1909.06893,
title = {Empirical study towards understanding line search approximations for training neural networks},
author = {Younghwan Chae and Daniel N. Wilke},
journal= {arXiv preprint arXiv:1909.06893},
year = {2019}
}
备注
30 pages, 20 figures