低VC维下的教学与压缩

在本工作中，我们研究了 VC 维与学习和教学相关的另外两个基本参数之间的定量关系。即低 VC 维类的样本压缩方案和教学集的质量。设 $C$ 为大小为 $m$、VC 维为 $d$ 的二元概念类。在此之前，这两个参数的最佳已知上界均为 $\log(m)$，而最佳下界与 $d$ 呈线性关系。我们提出了显著更好的上界，如下所述。令 $k = O(d 2^d \log \log |C|)$。我们证明在 $C$ 中总存在一个概念 $c$，其教学集（即唯一标识 $C$ 中 $c$ 的带 $c$ 标签的示例列表）大小为 $k$。该问题由 Kuhlmann (1999) 研究。我们的构造也意味着 $C$ 的递归教学（RT）维度至多为 $k$。RT 维度由 Zilles 等人以及 Doliwa 等人 (2010) 提出。同一概念（以 partial-ID width 之名）由 Wigderson 和 Yehudayoff (2013) 独立研究。仅依赖于 $d$ 的该参数的上界仅对非常简单的情况 $d=1$ 已知，且即使对 $d=2$ 也是开放的。我们朝这个看似温和的目标也取得了微小进展。我们进一步为 $C$ 构造了大小为 $k$ 的样本压缩方案，带有额外的 $k \log(k)$ 比特信息。粗略地说，给定任意长度的带 $C$ 标签的示例列表，我们可以仅保留 $k$ 个带标签的示例，使得能够利用额外的 $k\log (k)$ 信息比特恢复列表中所有其他示例的标签。该问题最初由 Littlestone 和 Warmuth (1986) 提出。