一种高效的由粗到细对齐框架 @ Ego4D自然语言查询挑战赛2022
计算机视觉与模式识别
2022-11-17 v1 信息检索
摘要
本技术报告描述了用于ECCV 2022中Ego4D自然语言查询（NLQ）挑战赛的CONE方法。我们利用我们的模型CONE，一种高效的以窗口为中心的由粗到细对齐框架。具体而言，CONE通过滑动窗口方法将长视频动态切分为候选窗口。以窗口为中心，CONE（1）通过对比学习学窗口间（粗粒度）语义差异，并通过预筛选与NL查询相关的候选窗口来加速推理；（2）利用对比视觉-文本预训练模型EgoVLP强大的多模态对齐能力进行窗口内（细粒度）候选时刻排序。在盲测试集上，CONE在R1@IoU=0.3和R1@IoU=0.5下分别取得15.26和9.24。
引用
@article{arxiv.2211.08776,
title = {An Efficient COarse-to-fiNE Alignment Framework @ Ego4D Natural Language Queries Challenge 2022},
author = {Zhijian Hou and Wanjun Zhong and Lei Ji and Difei Gao and Kun Yan and Wing-Kwong Chan and Chong-Wah Ngo and Zheng Shou and Nan Duan},
journal= {arXiv preprint arXiv:2211.08776},
year = {2022}
}
备注
Technical report for ECCV 2022 Ego4D workshop, 4 pages, 2 figures, 2 tables. arXiv admin note: substantial text overlap with arXiv:2209.10918