通过主动模型适配实现深度CNN的低成本训练
机器学习
2018-06-06 v2 机器学习
摘要
深度卷积神经网络在各种应用中取得了巨大成功。然而，针对特定任务训练一个有效的DNN模型相当具有挑战性，因为这需要先验知识或经验来设计网络架构、通过反复试错过程来调整参数，以及使用大量标注数据来训练模型。在本文中，我们提出通过主动地将预训练模型适配到新任务(使用较少标注样本)来克服这些挑战。具体而言，预训练模型基于最有用的样本进行迭代微调。这些样本根据一种新准则被主动选择，该准则联合估计一个样本对优化特征表示以及改进目标任务分类模型的潜在贡献。一方面，预训练模型从其原始任务带来了丰富信息，避免了网络架构的重新设计或从零训练；另一方面，通过主动标注查询可显著降低标注成本。在多个数据集和不同预训练模型上的实验表明，所提方法能够实现深度神经网络的低成本训练。
引用
@article{arxiv.1802.05394,
title = {Cost-Effective Training of Deep CNNs with Active Model Adaptation},
author = {Sheng-Jun Huang and Jia-Wei Zhao and Zhao-Yang Liu},
journal= {arXiv preprint arXiv:1802.05394},
year = {2018}
}
备注
9 pages