神经网络的Sobolev训练
机器学习
2017-07-27 v3
摘要
深度学习的核心在于我们将神经网络用作函数逼近器——训练它们从输入产生输出，以模拟真实函数或数据生成过程。在许多情况下，我们仅能获取来自真实函数的输入输出对，然而获取目标输出关于输入的导数正变得更为常见——例如当真实函数本身为神经网络时，如网络压缩或蒸馏。通常这些目标导数未被计算或被忽略。本文引入面向神经网络的Sobolev训练，这是一种在训练时除目标值外还融入这些目标导数的方法。通过优化神经网络不仅逼近函数输出而且逼近函数导数，我们将关于目标函数的额外信息编码进神经网络的参数中。从而我们可提升预测器的质量，以及所学函数逼近的数据效率与泛化能力。我们为此方法提供了理论依据，以及在三个不同领域的经验证据示例：经典优化数据集上的回归、蒸馏玩Atari游戏的智能体策略，以及合成梯度的大规模应用。在所有三个领域中，使用除目标值外还采用目标导数的Sobolev训练，均带来了具有更高准确率和更强泛化的模型。
引用
@article{arxiv.1706.04859,
title = {Sobolev Training for Neural Networks},
author = {Wojciech Marian Czarnecki and Simon Osindero and Max Jaderberg and Grzegorz Świrszcz and Razvan Pascanu},
journal= {arXiv preprint arXiv:1706.04859},
year = {2017}
}