受拟非扩张映射族约束的自适应投影次梯度方法及其在在线学习中的应用
最优化与控制
2011-08-08 v3 信息论
机器学习
math.IT
摘要
信号处理和机器学习中的许多在线（即时间自适应）逆问题，都属于非负、凸且连续函数序列渐近最小化的广泛范畴。为了将先验知识融入设计中，渐近最小化任务通常被约束在一个由可用先验信息决定的固定闭凸集上。为了增加利用可用信息的灵活性，本文通过引入一种算法方案来扩展自适应投影次梯度方法(APSM)，该方案通过实希尔伯特空间中一系列强吸引拟非扩张映射将先验知识融入设计中。这样，所提方法为在线学习任务带来的好处体现在两个方面：1）丰富的拟非扩张映射类提供了多种表达先验知识的方式；2）通过引入这样的映射序列，所提方案能够捕捉先验信息随时间变化的特性。研究了算法的收敛性质，展示了该方法具有广泛适用性的几个特例，并通过考虑一个如今日益重要的在线稀疏系统/信号恢复任务，展示了所提方案的潜力。
引用
@article{arxiv.1008.5231,
title = {The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning},
author = {Konstantinos Slavakis and Isao Yamada},
journal= {arXiv preprint arXiv:1008.5231},
year = {2011}
}
备注
Revised version