论特权 ERM 的容量极限

我们研究由 Vapnik 与 Vashist（2009）首次提出的称为利用特权信息学习（Learning Using Privileged Information）的监督学习范式。在该范式中，除样本与标签外，仅为训练样本提供额外的（特权）信息。目标是利用该信息提升所得分类器的分类精度，而该分类器仅能使用新样本实例的非特权信息来预测其标签。我们在 Pechyony 与 Vapnik（2010a）提出的自然特权 ERM 算法下研究特权学习的零一损失理论。我们对该工作中关于此问题所诱导损失类的 VC 维的断言给出反例；我们得出结论该断言不正确。随后我们给出正确的 VC 维分析，给出了特权 ERM 损失类容量的下界与上界。进一步通过泛化分析表明，除非特权信息的容量与非特权信息相似或更小，否则特权 ERM 的最坏情况保证无法优于标准非特权 ERM。该结果指出了特权 ERM 方法的重要局限。在结尾讨论中，我们提出了即便特权信息容量较大时特权 ERM 仍可能有助益的另一种途径。