探索异构骨干网络的状态变化捕捉 @ Ego4D 手与物体挑战赛 2022
计算机视觉与模式识别
2022-11-17 v1
摘要
捕捉交互物体的状态变化是理解人-物交互的关键技术。本技术报告描述了我们采用异构骨干网络参与 Ego4D 物体状态变化分类与 PNR 时间定位挑战赛的方法。在挑战赛中，我们使用了异构视频理解骨干网络，即采用 3D 卷积为算子的 CSN 与采用 Transformer 为算子的 VideoMAE。我们的方法在 OSCC 上取得了 0.796 的准确率，同时在 PNR 上取得了 0.516 的绝对时间定位误差。这些优异结果在 Ego4D OSCC & PNR-TL 挑战赛 2022 的排行榜上排名第 1。
引用
@article{arxiv.2211.08728,
title = {Exploring State Change Capture of Heterogeneous Backbones @ Ego4D Hands and Objects Challenge 2022},
author = {Yin-Dong Zheng and Guo Chen and Jiahao Wang and Tong Lu and Limin Wang},
journal= {arXiv preprint arXiv:2211.08728},
year = {2022}
}
备注
5 pages, 3 figures