正则化条件均值嵌入学习的最优速率

Zhu Li; Dimitri Meunier; Mattes Mollenhauer; Arthur Gretton

正则化条件均值嵌入学习的最优速率

机器学习 2023-12-13 v3 机器学习

作者: Zhu Li , Dimitri Meunier , Mattes Mollenhauer , Arthur Gretton

摘要

我们研究条件均值嵌入（CME）的核岭回归估计的一致性，CME是将给定 $X$ 的条件下 $Y$ 的条件分布嵌入到目标再生核希尔伯特空间 $\mathcal{H}_Y$ 中的映射。CME使我们能够对目标RKHS函数取条件期望，并已用于非参数因果与贝叶斯推断。我们处理误指定设定，其中目标CME位于从 $\mathcal{H}_X$ 与 $L_2$ 之间的输入插值空间到 $\mathcal{H}_Y$ 作用的希尔伯特-施密特算子空间中。该算子空间被证明与新定义的向量值插值空间同构。利用该同构，我们推导了误指定设定下经验CME估计量的新颖自适应统计学习速率。我们的分析表明，在不假设 $\mathcal{H}_Y$ 为有限维的情况下，我们的速率与最优的 $O(\log n / n)$ 速率相匹配。我们进一步建立了学习速率的下界，表明所得上界是最优的。

关键词

条件均值嵌入核岭回归误指定设定再生核希尔伯特空间学习速率希尔伯特-施密特算子

引用

@article{arxiv.2208.01711,
  title  = {Optimal Rates for Regularized Conditional Mean Embedding Learning},
  author = {Zhu Li and Dimitri Meunier and Mattes Mollenhauer and Arthur Gretton},
  journal= {arXiv preprint arXiv:2208.01711},
  year   = {2023}
}

备注

Typos & revised argument for the Gaussian kernel. Results unchanged

正则化条件均值嵌入学习的最优速率

摘要

关键词

引用

备注

相关论文