Ego-Only：无需第三人称迁移的第一人称动作检测
计算机视觉与模式识别
2023-05-23 v2
摘要
我们提出 Ego-Only，这是首个无需任何形式第三人称（第三视角）迁移即可在第一人称（ ego-centric，即第一视角）视频上实现最先进动作检测的方法。尽管两个领域之间存在内容与外观上的差距，大规模第三人称迁移一直是第一人称动作检测的首选方案。这是因为先前的研究发现，第一人称模型难以从零开始训练，而从第三人称表征迁移能提升准确率。然而，本文重新审视了这一普遍认知。受两领域间巨大差距的启发，我们提出了一种无需第三人称迁移即可有效训练第一人称模型的策略。我们的 Ego-Only 方法十分简单：它使用为时间分割微调的掩码自编码器（masked autoencoder）训练视频表征，然后将学到的特征输入现成的时间动作定位方法来检测动作。我们在三个成熟的第一人称视频数据集 Ego4D、EPIC-Kitchens-100 和 Charades-Ego 上展示了该简单 Ego-Only 方法取得的极强结果，表明第三人称迁移已无必要。在动作检测与动作识别上，Ego-Only 均优于此前使用数量级更多标签的最佳第三人称迁移方法。Ego-Only 在这些数据集与基准上无需第三人称数据即刷新了最先进结果。
引用
@article{arxiv.2301.01380,
title = {Ego-Only: Egocentric Action Detection without Exocentric Transferring},
author = {Huiyu Wang and Mitesh Kumar Singh and Lorenzo Torresani},
journal= {arXiv preprint arXiv:2301.01380},
year = {2023}
}