通过抑制未知任务的解耦表示以减少过学习
计算机视觉与模式识别
2020-05-21 v1 机器学习
摘要
现有的用于学习视觉特征的深度学习方法倾向于过学习并提取超出当前任务所需的信息。从隐私保护角度看，输入视觉信息未受模型保护；使模型变得比其受训目标更智能。当前抑制额外任务学习的方法假设训练时存在待抑制任务的真实标签。在本研究中，我们提出三点新颖贡献：（i）一种通过抑制所有未知任务来减少模型过学习的模型无关方案，（ii）一种衡量已训练深度学习模型信任分数的新指标，以及（iii）一个名为PreserveTask的模拟基准数据集，包含五种不同的基础图像分类任务，用于研究模型的泛化特性。在第一组实验中，我们学习解耦表示并抑制五种流行深度学习模型在PreserverTask数据集上的过学习：VGG16、VGG19、Inception-v1、MobileNet和DenseNet。此外，我们展示了框架在color-MNIST数据集上的结果，以及人脸属性保存在Diversity in Faces（DiF）和IMDB-Wiki数据集中的实际应用。
引用
@article{arxiv.2005.10220,
title = {Reducing Overlearning through Disentangled Representations by Suppressing Unknown Tasks},
author = {Naveen Panwar and Tarun Tater and Anush Sankaran and Senthil Mani},
journal= {arXiv preprint arXiv:2005.10220},
year = {2020}
}
备注
Added appendix with additional results