集成卡尔曼反演：一种用于机器学习任务的无导数技术
机器学习
2019-09-04 v1 最优化与控制
机器学习
摘要
机器学习的标概率视角引出了经验风险最小化任务，这些任务常由随机梯度下降（SGD）及其变体求解。我们将这些任务表述为经典反演或滤波问题，并进一步提出一种高效、无梯度的算法，利用集成卡尔曼反演（EKI）求解这些问题。我们方法的应用包括深度神经网络的离线与在线监督学习，以及基于图的半监督学习。EKI 过程的本质是一种基于集成近似梯度下降，其中导数被集成内部的差分所替代。我们提出了对基本方法的若干改进，源自在 SGD 背景下发展起来的经验成功启发式。数值结果展示了所提算法的广泛适用性与鲁棒性。
引用
@article{arxiv.1808.03620,
title = {Ensemble Kalman Inversion: A Derivative-Free Technique For Machine Learning Tasks},
author = {Nikola B. Kovachki and Andrew M. Stuart},
journal= {arXiv preprint arXiv:1808.03620},
year = {2019}
}
备注
41 pages, 14 figures