DeepMimic：基于师生无标签数据的训练方法
机器学习
2019-12-03 v1 神经与进化计算
机器学习
摘要
在本文中，我们提出了一种称为“DeepMimic”训练方法的深度神经网络（DNN）训练方法。如今有大量数据可用于训练。然而，这些数据中只有极小部分被人工标注，而几乎所有数据都是未标注的。所提出的训练方法以最简化的方式充分利用无标签数据，以取得显著的（分类）结果。我们的 DeepMimic 方法使用一小部分标注数据和大量无标签数据进行训练过程，正如真实场景中所预期的那样。它由一个导师模型和一个学生模型组成。通过采用在少量标注数据上训练好的导师模型，然后仅向其输入无标签数据，我们展示了如何获得一个（简化后的）学生模型，该模型在同一测试集上达到与导师模型相同的准确率和损失，且在学生模型的训练过程中不使用任何原始数据标签。我们的实验表明，即使在具有挑战性的分类任务上，学生网络结构也可以被显著简化，而对性能影响甚微，即我们甚至无需知道导师的原始网络结构。此外，由于结构简化且可用数据更多，训练学生模型以达到导师性能水平所需的时间更短。所提出的方法凸显了常规监督训练的缺点，并展示了一种非传统训练方法的优势。
引用
@article{arxiv.1912.00079,
title = {DeepMimic: Mentor-Student Unlabeled Data Based Training},
author = {Itay Mosafi and Eli David and Nathan S. Netanyahu},
journal= {arXiv preprint arXiv:1912.00079},
year = {2019}
}