以自我中心视频-语言预训练参与 EPIC-KITCHENS-100 多实例检索挑战赛 2022
计算机视觉与模式识别
2022-08-04 v2
摘要
在本报告中，我们提出一种基于视频-语言预训练(VLP)的方案 \cite{kevin2022egovlp} 用于 EPIC-KITCHENS-100 多实例检索(MIR)挑战赛。特别地，我们利用近期发布的 Ego4D 数据集 \cite{grauman2021ego4d} 从预训练数据集、预训练目标与开发集三方面开创以自我中心视频-语言预训练。基于上述三项设计，我们开发了一个预训练视频-语言模型，能够将其以自我中心视频-文本表征迁移至 MIR 基准。此外，我们设计了一种自适应多实例最大间隔损失来有效微调模型，并配备双 softmax 技术以实现可靠推理。我们的最佳单模型在挑战赛测试集上取得强劲性能，mAP 为 47.39%，nDCG 为 61.44%。代码见 https://github.com/showlab/EgoVLP。
引用
@article{arxiv.2207.01334,
title = {Egocentric Video-Language Pretraining @ EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge 2022},
author = {Kevin Qinghong Lin and Alex Jinpeng Wang and Rui Yan and Eric Zhongcong Xu and Rongcheng Tu and Yanru Zhu and Wenzhe Zhao and Weijie Kong and Chengfei Cai and Hongfa Wang and Wei Liu and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2207.01334},
year = {2022}
}
备注
To appeared in CVPRW22. 5 pages, 2 figures, 2 tables. Code: https://github.com/showlab/EgoVLP. The EPIC challenge technical report of EgoVLP arXiv:2206.01670. See Ego4D challenge technical report arXiv:2207.01622