论任务粒度对迁移学习有效性之影响
计算机视觉与模式识别
2018-11-30 v2
摘要
我们描述一个端到端训练、具有共享特征、用以解决不同粒度层级任务的视频分类与字幕 DNN，探索源任务中粒度与迁移学习所学特征质量之间的联系。为解决迁移学习中的新任务域，我们冻结已训练编码器并在目标域上微调神经网络。我们在含超过 220,000 个视频、具多层级目标粒度的 Something-Something 数据集上训练，包括 50 个动作组、174 个细粒度动作类别与字幕。Something-Something 的分类与字幕具有挑战性，因为动作间差异微妙，应用于数千个不同对象类，且众包演员撰写的字幕多样。我们的模型在 Something-Something 上优于现有分类基线，细粒度结果令人印象深刻，并在新的 Something-Something 字幕任务上给出强基线。实验揭示，以更细粒度任务训练往往产生更好的迁移学习特征。
引用
@article{arxiv.1804.09235,
title = {On the effectiveness of task granularity for transfer learning},
author = {Farzaneh Mahdisoltani and Guillaume Berger and Waseem Gharbieh and David Fleet and Roland Memisevic},
journal= {arXiv preprint arXiv:1804.09235},
year = {2018}
}