探索将 VideoMAE 适配于音视频日记化及社交任务@Ego4d Looking at me 挑战赛
计算机视觉与模式识别
2022-11-30 v1
摘要
在本报告中，我们展示了将预训练的视频掩码自编码器（VideoMAE）迁移至以自我为中心的（egocentric）任务，用于 Ego4d Looking at me 挑战赛。VideoMAE 是一种数据高效的自我监督视频预训练模型，可轻松迁移至下游任务。我们表明，从 VideoMAE 迁移得到的表征具有良好的时空建模能力以及捕捉微小动作的能力。我们仅需基于由第三人称视角获取的普通视频预训练好的 VideoMAE，使用以自我为中心的数据训练 10 个 epoch，即可在 Ego4d Looking at me 挑战赛上取得优于基线的结果。
引用
@article{arxiv.2211.16206,
title = {Exploring adaptation of VideoMAE for Audio-Visual Diarization & Social @ Ego4d Looking at me Challenge},
author = {Yinan He and Guo Chen},
journal= {arXiv preprint arXiv:2211.16206},
year = {2022}
}