非参数最小二乘估计的局部收敛速率及其在迁移学习中的应用
统计理论
2024-01-01 v2 统计理论
摘要
经验风险最小化器的收敛性质可方便地用其关联的总体风险来表达。然而，为推导协变量偏移下估计器性能的界，需要逐点收敛速率。在设计分布较弱的假设下，我们证明了在 1-Lipschitz 函数上的最小二乘估计器（LSE）关于加权一致范数也是极小极大速率最优的，其中该加权以自然方式考虑了设计分布的非均匀性。这意味着尽管最小二乘是一个全局准则，LSE 在局部自适应于设计密度的规模。我们发展了一种新的间接证明技术，基于精心选择的 LSE 局部扰动来确立局部收敛行为。所获得的局部速率随后被应用于分析协变量偏移下迁移学习的 LSE。
引用
@article{arxiv.2204.05003,
title = {Local convergence rates of the nonparametric least squares estimator with applications to transfer learning},
author = {Johannes Schmidt-Hieber and Petr Zamolodtchikov},
journal= {arXiv preprint arXiv:2204.05003},
year = {2024}
}