面对噪声或对抗性扰动的可压缩分布的鲁棒可学习性

分布学习是无监督学习和统计学中的基本问题。一个核心问题是给定的分布族是否存在足够的结构以实现（至少）信息论可学习性，以及若存在时，其样本复杂度的特征。2018年，Ashtiani等人将原早期由Littlestone和Warmuth（1986）提出的样本压缩概念重新定义为分布类的结构属性，证明其保证PAC可学习性。此发现随后促进了一系列近期进展，推导了各种高维开放问题的近似紧密样本复杂度界。进一步 conjectures称：每个可学习的类都 admits 紧密的样本压缩方案。本文我们证明，即使在扰动样本中，样本可压缩的分布族仍可被学习，需满足一组必要且充分条件。我们分析两种数据扰动模型：（i）加性独立噪声模型，（ii）对抗性损坏模型，其中攻击者对学习者未知地操控限定子集的样本。我们的結果是通用的，依赖的假设尽可能少。我们发展了一种扰动-量化框架，自然地与压缩方案相接口，并导致随噪声水平和损坏预算而优雅地扩展的样本复杂度界。作为具体应用，我们为从噪声和对抗性扰动中学习有限混合高维均匀分布，以及从对抗性损坏样本中学习高斯混合模型，建立了新的样本复杂度界，解决了文献中两个开放问题。