基于教学视频的跨任务弱监督学习
计算机视觉与模式识别
2019-04-30 v2
摘要
本文研究利用教学解说与有序步骤列表（而非通过时间标注的强监督）提供的弱监督，学习普通任务步骤的视觉模型。我们方法的核心观察是：若模型在学习不同步骤时共享组件，则弱监督学习可能更容易：‘倒蛋’应与涉及‘倒’和‘蛋’的其他任务联合训练。我们将其形式化为一个用于识别步骤的组件模型，以及一个可在时间约束下从解说与步骤列表学习该模型的弱监督学习框架。已有数据不允许对共享进行系统研究，因此我们收集了一个新数据集 CrossTask，旨在评估跨任务共享。实验表明跨任务共享可提升性能，尤其在组件层面进行时；且我们的组件模型凭借其组合性可解析先前未见过的任务。
引用
@article{arxiv.1903.08225,
title = {Cross-task weakly supervised learning from instructional videos},
author = {Dimitri Zhukov and Jean-Baptiste Alayrac and Ramazan Gokberk Cinbis and David Fouhey and Ivan Laptev and Josef Sivic},
journal= {arXiv preprint arXiv:1903.08225},
year = {2019}
}
备注
18 pages, 17 figures, to be published in proceedings of the CVPR, 2019