针对不经意离群值鲁棒的高阶平方和松弛
机器学习
2022-11-15 v1 机器学习
摘要
我们考虑形如 的估计模型,其中 是我们希望恢复的 维信号, 为对称分布噪声,其在除一小部分 比例的条目外可能无界。我们引入一类算法,在温和假设下可恢复所有估计问题中的信号 ,只要存在一个平方和算法能在噪声 为高斯时成功恢复信号 。这本质上表明,为某估计问题设计带高斯噪声的平方和算法,就足以得到适用于对称噪声模型的算法。我们的框架远远超越了先前关于对称噪声模型的结果,甚至对对抗性扰动也具有鲁棒性。作为具体例子,我们研究了两个在重尾噪声下此前未知高效算法的问题:张量 PCA 与稀疏 PCA。对于前者,当信噪比至少为 时,我们的算法在多项式时间内恢复主成分,该结果与当前高斯噪声下已知最佳算法保证(至多对数因子)相匹配。对于后者,我们的算法在拟多项式时间内运行,并与高斯噪声情形下拟多项式时间算法的现有最优保证一致。利用从植入团问题出发的归约,我们提供证据表明拟多项式时间对于对称噪声下的稀疏 PCA 很可能是必要的。在证明中,我们使用了伪期望集合的覆盖数界,这是通过对解集合的高斯复杂度在平方和内证明上界获得的。这种界定伪期望集合覆盖数的方法本身可能具有独立意义,并可在未来工作中找到其他应用。
引用
@article{arxiv.2211.07327,
title = {Higher degree sum-of-squares relaxations robust against oblivious outliers},
author = {Tommaso d'Orsi and Rajai Nasser and Gleb Novikov and David Steurer},
journal= {arXiv preprint arXiv:2211.07327},
year = {2022}
}
备注
To appear in SODA 2023