高维中无计算难解性的鲁棒估计器
数据结构与算法
2019-03-18 v2 信息论
机器学习
math.IT
统计理论
机器学习
统计理论
摘要
我们研究了一种不可知设置下的高维分布学习，其中允许对手任意破坏 比例的样本。此类问题在统计、机器学习和理论计算机科学中有着丰富的历史。即使在最基本的设置中，唯一已知的方法要么计算效率低下，要么在其误差保证中损失维度依赖因子。这引出了以下问题：高维不可知分布学习在算法上是否可能？在这项工作中，我们获得了首个具有维度无关误差保证的计算高效算法，用于不可知地学习几类基本的高维分布：(1) 单个高斯分布，(2) 超立方体上的乘积分布，(3) 两个乘积分布的混合（在自然的平衡条件下），以及 (4) 球状高斯的混合。我们的算法实现的误差与维度无关，并且在许多情况下随对抗性损坏样本的比例近似线性缩放。此外，我们开发了一种用于检测和纠正高维损坏的通用方法，可能适用于许多其他问题。
引用
@article{arxiv.1604.06443,
title = {Robust Estimators in High Dimensions without the Computational Intractability},
author = {Ilias Diakonikolas and Gautam Kamath and Daniel Kane and Jerry Li and Ankur Moitra and Alistair Stewart},
journal= {arXiv preprint arXiv:1604.06443},
year = {2019}
}