视频自监督学习对基准的敏感性有多严重?
计算机视觉与模式识别
2022-08-02 v2
摘要
尽管视频自监督学习模型近来取得成功,其泛化能力仍有许多待理解之处。本文中,我们考察视频自监督学习对当前常规基准的敏感程度,以及方法是否能在典型评测设定之外泛化。我们围绕四个敏感性因素展开:域、样本、动作与任务。我们涵盖7个视频数据集、9种自监督方法与6项视频理解任务、超过500次实验的研究表明,当前视频自监督学习的基准并不能很好地指示沿这些敏感性因素的泛化能力。此外,我们发现自监督方法明显落后于普通有监督预训练,尤其在域偏移大且可用下游样本少时。由我们的分析,我们提炼出SEVERE-benchmark(我们实验的一个子集),并讨论其对评测现有及未来自监督视频学习方法所得表征泛化性的意义。
引用
@article{arxiv.2203.14221,
title = {How Severe is Benchmark-Sensitivity in Video Self-Supervised Learning?},
author = {Fida Mohammad Thoker and Hazel Doughty and Piyush Bagad and Cees Snoek},
journal= {arXiv preprint arXiv:2203.14221},
year = {2022}
}
备注
Accepted in ECCV 2022