Distill-2MD-MTL：基于多数据集多域多任务框架的数据蒸馏以解决人脸相关任务、多任务学习、半监督学习
计算机视觉与模式识别
2019-07-10 v2 机器学习
摘要
我们提出了一种基于多任务学习（MTL）与数据蒸馏的人脸相关任务半监督学习新方法。所提方法利用带有不同标签的多个数据集来处理不同但相关的任务，如同时进行年龄、性别、种族、面部表情估计。具体而言，当多个相关任务中仅某一特定任务有少量精标注数据时，我们利用不同域中其他相关任务的标签。我们的方法由（1）一种可处理弱标注数据集并同时执行若干任务的新型 MTL 方法，以及（2）一个基于 MTL 的数据蒸馏框架组成，该框架使网络对来自不同域的训练与测试数据具备泛化能力。实验表明，所提多任务系统在各任务上均优于基线单任务。还证明使用不同域数据集与主数据集配合可增强网络泛化能力并克服数据集间的域差异。此外，对比基线框架与 MTL 框架上的数据蒸馏，后者对不同域未标注数据给出更准预测。进而，通过提出一种新的学习率优化方法，我们所提网络能够动态调节其学习率。
引用
@article{arxiv.1907.03402,
title = {Distill-2MD-MTL: Data Distillation based on Multi-Dataset Multi-Domain Multi-Task Frame Work to Solve Face Related Tasksks, Multi Task Learning, Semi-Supervised Learning},
author = {Sepidehsadat Hosseini and Mohammad Amin Shabani and Nam Ik Cho},
journal= {arXiv preprint arXiv:1907.03402},
year = {2019}
}