高维单纯形在噪声环境下的学习基本界限
机器学习
2025-06-13 v1 机器学习
摘要
本文建立了从含噪数据中学习 中高维单纯形的样本复杂度界限。具体而言,考虑从未知单纯形中均匀抽取的 个独立同分布样本,每个样本被未知方差的高斯加性噪声污染。我们证明存在一个算法,在高概率下输出一个与真实单纯形的 或总变差(TV)距离不超过 的单纯形,所需样本量满足 ,其中 为信噪比。扩展我们先前的研究~\citep{saberi2023sample},我们推导了新的信息论下界,表明在 TV 距离 下进行单纯形估计至少需要 个样本,其中 表示噪声方差。在无噪声情形下,我们的下界 与已知上界在常数因子内匹配。我们通过证明当 时,噪声情形的复杂度与无噪声情形一致,解决了开放问题。我们的分析利用了样本压缩技术(Ashtiani et al., 2018),并引入了一种基于傅里叶方法的从含噪观测中恢复分布的新方法,该方法有望应用于单纯形学习之外的其他领域。
引用
@article{arxiv.2506.10101,
title = {Fundamental Limits of Learning High-dimensional Simplices in Noisy Regimes},
author = {Seyed Amir Hossein Saberi and Amir Najafi and Abolfazl Motahari and Babak H. khalaj},
journal= {arXiv preprint arXiv:2506.10101},
year = {2025}
}
备注
Extension of our ICML 2023 paper, 44 pages