中文

关于准_manifold 上协变量漂移下非参数 minimax 率的相位转变

统计理论 2025-07-02 v1 统计理论

摘要

我们研究协变量漂移下的非参数回归,其中目标域中少量标记数据补充由大规模标记源数据集。在许多实际场景中,目标域中的协变量接近位于源的低维流形上,例如个性化手写数字(目标)位于大型高维图像库(源)中。由于密度比在这些设置中可能不存在,标准的迁移学习技术往往无法利用此类结构。因此,需要开发能够同时利用源数据集大小和目标结构性质的方法。为此,我们在协变量漂移下,假设目标分布位于源的光滑子流形上(但不完全在上),建立了估计 H"older 类回归函数的新的 minimax 率。一般光滑性有助于在目标函数高度规则时减少维度灾难,而近似流形捕捉现实、嘈杂数据。我们识别出 minimax 估计率的相位转变,由距离、源和目标样本大小、函数光滑性以及内在维度与环境维度决定。我们提出了一种局部多项式回归估计器,可在相位转变边界的任一侧实现最优率。此外,我们构建了一个全自适应程序,可调整未知的光滑性和内在维度,几乎实现最优率。我们的结果统一并扩展了协变量漂移、流形学习和自适应非参数推断中的关键主题。

关键词

引用

@article{arxiv.2507.00889,
  title  = {Phase Transition in Nonparametric Minimax Rates for Covariate Shifts on Approximate Manifolds},
  author = {Yuyao Wang and Nabarun Deb and Debarghya Mukherjee},
  journal= {arXiv preprint arXiv:2507.00889},
  year   = {2025}
}

备注

42 pages, 7 figures