旧法新用：一种用于特权信息学习与蒸馏的多视图学习方法
机器学习
2019-03-12 v1 机器学习
摘要
我们采用多视图方法，在一个统一框架下分析两种知识迁移设定——使用特权信息的学习（LUPI）与蒸馏。在对假设空间复杂度作出合理假设，并对学生模型（蒸馏中）与变换后的教师预测器（LUPI 中）可达到的期望损失持乐观态度的前提下，我们表明鼓励教师与学生之间的一致性能缩减搜索空间。由此，通过正则化经验风险最小化可获得改进的收敛速率。
引用
@article{arxiv.1903.03694,
title = {Everything old is new again: A multi-view learning approach to learning using privileged information and distillation},
author = {Weiran Wang},
journal= {arXiv preprint arXiv:1903.03694},
year = {2019}
}