有限域上知识迁移的基本极限探析

我们刻画了通过来自教师的概率学生分类器在标签集$\mathcal A$上的输入空间$\mathcal S$中$n$个样本进行知识迁移的统计效率。我们表明，三个递进层级的特权信息可加速迁移。在第一层级，仅已知带硬标签的样本，通过最大似然估计量可达到极小极大速率$\sqrt{{|{\mathcal S}||{\mathcal A}|}/{n}}$。第二层级额外提供采样标签的教师概率，这会将收敛速率下界提升至${{|{\mathcal S}||{\mathcal A}|}/{n}}$。然而，在此第二数据采集协议下，最小化交叉熵损失的朴素适配会导致渐近有偏的学生模型。我们克服此局限，通过使用一种新颖的平方误差logit损失的经验变体达到了基本极限。第三层级进一步为学生配备给定每个采样输入的${\mathcal A}$上的软标签（完整logits），从而可证明使学生享有不含$|{\mathcal A}|$的速率${|{\mathcal S}|}/{n}$。我们发现任一Kullback-Leibler散度最小化器在最后一种情形中均为最优。数值模拟区分了四种学习器并证实了我们的理论。