分布式核岭回归的 Lepskii 原理
机器学习
2024-09-10 v1
摘要
在分布式学习中，参数选择面临着在不通信本地数据的情况下进行选择的挑战，这在理论分析和实际应用之间存在不一致。针对这一问题，受最近发展的 Lepskii 原理和非隐私通信协议的启发，我们提出一种 Lepskii 原理，用于构建分布式核岭回归 (DKRR)，从而开发出基于 Lepskii 原理的自适应 DKRR (Lep-AdaDKRR)。我们推导了 Lep-AdaDKRR 的最优学习率，理论上表明 Lep-AdaDKRR 能够适应回归函数的规则性、核函数的有效维度衰减率以及不同泛化度量，这填补了上述理论与实际应用之间差距的空白。
引用
@article{arxiv.2409.05070,
title = {Lepskii Principle for Distributed Kernel Ridge Regression},
author = {Shao-Bo Lin},
journal= {arXiv preprint arXiv:2409.05070},
year = {2024}
}