多核被动随机梯度算法与迁移学习
机器学习
2021-02-09 v2 系统与控制
信号处理
系统与控制
机器学习
摘要
本文提出一种新颖的被动随机梯度算法。在被动随机逼近中，随机梯度算法无法控制代价函数带噪梯度被求取的位置。经典的被动随机梯度算法使用近似狄拉克 delta 的核，依据梯度求取位置距目标点的远近对其加权。本文构建了多核被动随机梯度算法。该算法在高维问题中表现显著更优，并引入了方差缩减。我们分析了多核算法的弱收敛性及其收敛速率。在数值示例中，我们研究了用于迁移学习的被动最小均方（LMS）算法的多核版本，以与经典被动版本比较性能。
引用
@article{arxiv.2008.10020,
title = {Multi-kernel Passive Stochastic Gradient Algorithms and Transfer Learning},
author = {Vikram Krishnamurthy and George Yin},
journal= {arXiv preprint arXiv:2008.10020},
year = {2021}
}