中文

高维单纯形在噪声环境下的学习基本界限

机器学习 2025-06-13 v1 机器学习

摘要

本文建立了从含噪数据中学习 RK\mathbb{R}^K 中高维单纯形的样本复杂度界限。具体而言,考虑从未知单纯形中均匀抽取的 nn 个独立同分布样本,每个样本被未知方差的高斯加性噪声污染。我们证明存在一个算法,在高概率下输出一个与真实单纯形的 2\ell_2 或总变差(TV)距离不超过 ε\varepsilon 的单纯形,所需样本量满足 n(K2/ε2)eO(K/SNR2)n \ge (K^2/\varepsilon^2) e^{\mathcal{O}(K/\mathrm{SNR}^2)},其中 SNR\mathrm{SNR} 为信噪比。扩展我们先前的研究~\citep{saberi2023sample},我们推导了新的信息论下界,表明在 TV 距离 ε\varepsilon 下进行单纯形估计至少需要 nΩ(K3σ2/ε2+K/ε)n \ge \Omega(K^3 \sigma^2/\varepsilon^2 + K/\varepsilon) 个样本,其中 σ2\sigma^2 表示噪声方差。在无噪声情形下,我们的下界 nΩ(K/ε)n \ge \Omega(K/\varepsilon) 与已知上界在常数因子内匹配。我们通过证明当 SNRΩ(K1/2)\mathrm{SNR} \ge \Omega(K^{1/2}) 时,噪声情形的复杂度与无噪声情形一致,解决了开放问题。我们的分析利用了样本压缩技术(Ashtiani et al., 2018),并引入了一种基于傅里叶方法的从含噪观测中恢复分布的新方法,该方法有望应用于单纯形学习之外的其他领域。

关键词

引用

@article{arxiv.2506.10101,
  title  = {Fundamental Limits of Learning High-dimensional Simplices in Noisy Regimes},
  author = {Seyed Amir Hossein Saberi and Amir Najafi and Abolfazl Motahari and Babak H. khalaj},
  journal= {arXiv preprint arXiv:2506.10101},
  year   = {2025}
}

备注

Extension of our ICML 2023 paper, 44 pages