对抗损失下未知子流形上分布估计的极小极大速率
统计理论
2022-02-21 v1 统计理论
摘要
从高维数据且具有低维结构的统计推断近来备受关注。在机器学习中,深度生成建模方法通过从底层分布创建新样本来隐式估计复杂对象的分布,并在生成合成逼真图像与文本方面取得巨大成功。这些方法的关键步骤是提取可用于准确重建原始数据(解码)的潜在特征或表示(编码)。换言之,在低维流形结构被隐式假设并用于分布建模与估计。为理解低维流形结构在生成建模中的益处,我们构建了对抗损失下未知子流形上分布估计的一般极小极大框架,并对目标分布与流形施加适当的光滑性假设。所建立的极小极大速率阐明了各种问题特征(包括数据的内在维数以及目标分布与流形的光滑度水平)如何影响高维分布估计的基本极限。为证明极小极大上界,我们基于局部拟合生成模型的混合构造了一个估计量,其动机来自微分几何的的单位分解技术,且对于覆盖底层数据流形不接受全局参数化的情况是必需的。我们还提出了一种数据驱动的自适应估计量,证明其能在大量分布类上同时达到最优速率的对数因子范围内。
引用
@article{arxiv.2202.09030,
title = {Minimax Rate of Distribution Estimation on Unknown Submanifold under Adversarial Losses},
author = {Rong Tang and Yun Yang},
journal= {arXiv preprint arXiv:2202.09030},
year = {2022}
}
备注
102 pages, 3 figures