具有非披露性质的模型判别近最优过程

设 $\theta_0,\theta_1 \in \mathbb{R}^d$ 为与某损失 $\ell:\mathbb{R}^d\times \mathcal{Z}\to\mathbb{R}$ 及 $\mathcal{Z}$ 上两分布 $\mathbb{P}_0,\mathbb{P}_1$ 相关的总体风险最小化器。模型 $\theta_0,\theta_1$ 未知，且可通过从中抽取独立同分布样本来访问 $\mathbb{P}_0,\mathbb{P}_1$。我们的工作受如下模型判别问题驱动：“对于给定 $\theta^*\in\{\theta_0,\theta_1\}$，来自 $\mathbb{P}_0$ 和 $\mathbb{P}_1$ 的样本量多大时，可区分 $\theta^*=\theta_0$ 与 $\theta^*=\theta_1$ 这两个假设？”为全面回答该问题迈出第一步，我们首先考虑具有平方损失的良设定线性模型情形。此处我们给出了样本复杂度的匹配上下界，由 $\min\{1/\Delta^2,\sqrt{r}/\Delta\}$ 给出（至多相差常数因子）；其中 $\Delta$ 为 $\mathbb{P}_0$ 与 $\mathbb{P}_1$ 间分离程度的度量，$r$ 为设计协方差矩阵的秩。随后我们将该结果沿两个方向推广：(i) 渐近情形下的通用参数模型；(ii) 弱矩假设下小样本（$n\le r$）的广义线性模型。两种情形下均导出类似形式的样本复杂度界，同时允许模型误设。事实上，我们的检验过程仅通过经验风险的某一泛函访问 $\theta^*$。此外，使我们达到统计置信度的观测数并不足以“分辨”两个模型——即无法以 $O(\Delta)$ 预测精度恢复 $\theta_0,\theta_1$。这两个性质使得我们的框架可用于如下应用任务：在保障模型（可能为专有）不会被识别方实际“推断”出的同时，对其加以“识别”。