用于无标签视频表示学习的演化损失函数
计算机视觉与模式识别
2019-06-10 v1
摘要
我们提出一种从无标签数据学习视频表示的新方法。给定大规模无标签视频数据，目标是利用此类数据学习一个通用且可迁移的表示空间，可直接用于零样本/少样本学习等新任务。我们将无监督表示学习表述为一个多模态、多任务学习问题，其中表示也通过蒸馏在不同模态间共享。进一步，我们引入利用演化算法为训练此类多任务多模态表示空间寻找更优损失函数的思路；我们的方法自动搜索捕捉多个（自监督）任务与模态的损失函数组合。我们的表述允许将音频、光流与时间信息蒸馏进单一的、基于 RGB 的卷积神经网络。我们还比较了使用额外无标签视频数据的效果，并在标准公开视频数据集上评估了我们的表示学习。
引用
@article{arxiv.1906.03248,
title = {Evolving Losses for Unlabeled Video Representation Learning},
author = {AJ Piergiovanni and Anelia Angelova and Michael S. Ryoo},
journal= {arXiv preprint arXiv:1906.03248},
year = {2019}
}
备注
Non-archival abstract for CVPR Workshop on Learning from Unlabeled Videos