利用异方差丢弃法在特权信息下进行深度学习
机器学习
2018-05-30 v1 机器学习
摘要
与机器不同，人类通过快速的抽象模型构建来学习。教师的角色不仅仅是灌输对错答案，而是向学生提供直观的评论、比较与解释。这正是利用特权信息学习（LUPI）范式试图通过运用仅训练时可用的额外知识来建模的内容。我们提出了一种专为卷积神经网络（CNN）与循环神经网络（RNN）设计的新型LUPI算法。我们提出使用异方差丢弃法（即具有变化方差的丢弃法），并使丢弃法的方差成为特权信息的函数。直观上，这对应于利用特权信息来控制模型输出的不确定性。我们使用CNN与RNN在图像分类与机器翻译任务上进行了实验。我们的方法显著提高了学习中的样本效率，在训练样本数量有限时以较大幅度获得更高准确率。我们还通过提供一个在预言机情形下随（其中为训练样本数）递减的泛化误差界，从理论上证明了样本效率的提升。
引用
@article{arxiv.1805.11614,
title = {Deep Learning under Privileged Information Using Heteroscedastic Dropout},
author = {John Lambert and Ozan Sener and Silvio Savarese},
journal= {arXiv preprint arXiv:1805.11614},
year = {2018}
}
备注
CVPR 2018