利用内在梯度信息进一步训练可微分机器学习模型
机器学习
2022-01-17 v2 机器学习
摘要
设计能给出准确预测的模型是机器学习（ML）的基本目标。本工作提出的方法表明，当目标变量（输出）相对于输入的导数可从感兴趣的过程中提取时（例如基于神经网络（NN）的代理模型），它们可被用来进一步提升可微分 ML 模型的准确性。本文推广了这一思想，并提供了可跨多种应用利用梯度信息（GI）的实用方法，包括：（1）提升生成对抗网络（GANs）的性能；（2）高效调谐 NN 模型复杂度；（3）正则化线性回归。数值结果表明，GI 能利用现有数据集有效增强 ML 模型，展示了其在多种应用中的价值。
引用
@article{arxiv.2112.00094,
title = {Leveraging Intrinsic Gradient Information for Further Training of Differentiable Machine Learning Models},
author = {Chris McDonagh and Xi Chen},
journal= {arXiv preprint arXiv:2112.00094},
year = {2022}
}