面向无监督视频表示学习的损失函数演化
计算机视觉与模式识别
2020-02-28 v1 机器学习
摘要
我们提出了一种从大规模无标签视频数据中学习视频表示的新方法。理想情况下，该表示应具有通用性和可迁移性，可直接用于动作识别、零样本或少样本学习等新任务。我们将无监督表示学习表述为一个多模态、多任务的学习问题，其中表示通过蒸馏在不同模态间共享。此外，我们引入损失函数演化的概念，利用进化搜索算法自动寻找捕捉多种（自监督）任务和模态的损失函数的最优组合。第三，我们提出了一种无监督表示评估度量，使用对大规模无标签数据集的分布匹配作为先验约束，该约束基于齐夫定律（Zipf's law）。这种不受任何标注指导的无监督约束，产生了与弱监督、任务特定的约束相似的结果。所提出的无监督表示学习得到一个单一的 RGB 网络，并优于先前的方法。值得注意的是，它也比几种基于标签的方法（如 ImageNet）更有效，除了大型、全标注的视频数据集之外。
引用
@article{arxiv.2002.12177,
title = {Evolving Losses for Unsupervised Video Representation Learning},
author = {AJ Piergiovanni and Anelia Angelova and Michael S. Ryoo},
journal= {arXiv preprint arXiv:2002.12177},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:1906.03248