使用少量信息的学习器
机器学习
2018-03-01 v3 人工智能
密码学与安全
信息论
math.IT
摘要
我们研究被限制为仅使用其输入样本中少量信息的学习算法。我们引入一类学习算法，称之为 -比特信息学习器，其输出最多包含其输入的 比特信息。本项工作的一个核心主题是此类算法具有泛化能力。我们关注这些算法的学习容量，并证明了关于置信度和误差参数具有紧致依赖关系的样本复杂度界。我们还观察到其与样本压缩方案、Occam 剃刀、PAC-Bayes 和差分隐私等已被充分研究的概念之间的联系。我们讨论了一种方法，该方法允许我们给出算法所揭示关于其输入信息量的上界，并且通过展示一个简单的概念类（其中每个（可能随机化的）经验风险最小化器都必须揭示大量信息）来提供一个下界。另一方面，我们证明在分布依赖设定下，每个 VC 类都存在不揭示大量信息的经验风险最小化器。
引用
@article{arxiv.1710.05233,
title = {Learners that Use Little Information},
author = {Raef Bassily and Shay Moran and Ido Nachum and Jonathan Shafer and Amir Yehudayoff},
journal= {arXiv preprint arXiv:1710.05233},
year = {2018}
}