基于图的判别器：样本复杂度与表达能力

学习理论中的一个基本问题是，当我们只能访问从分布中采样的样本时，如何判别两个分布是否相同。这一基本任务例如在生成对抗网络（GANs）的背景下被考虑，其中训练一个判别器以区分真实分布与合成分布。我们的出发点是如下基本问题：“使假设依赖于不止单个随机样本是否有益”。为应对这一挑战，我们定义了基于 $k$-元组的判别器，其具有一族布尔 $k$-元函数 $\mathcal{G}$。每个函数 $g\in \mathcal{G}$ 自然地定义一个超图，指示给定超边是否存在。函数 $g\in \mathcal{G}$ 区分两个分布，当且仅当 $g$ 在来自两分布的 $k$ 个独立同分布样本元组上的期望值（显著）不同。我们研究了 $k$-元函数族相对于经典假设类 $H$（即 $k=1$）的表达能力。我们展示了 $k+1$-元与 $k$-元函数之间表达能力的分离。这证明了以 $k\geq 2$ 作为判别器的巨大益处。对于 $k\geq 2$，我们引入了一个类似于 VC 维的概念，并表明它控制样本复杂度。我们进而给出作为该扩展 VC 维函数形式的上界与下界。