从带旁白的自我中心视频中学习时间句子定位
计算机视觉与模式识别
2023-10-27 v1
摘要
Ego4D与EPIC-Kitchens等长形式自我中心数据集的出现为时间句子定位（TSG）任务带来了新挑战。与评估该任务的传统基准相比，这些数据集提供了更细粒度的句子以在显著更长的视频中定位。本文中，我们开发了一种仅利用旁白及其对应粗略旁白时间戳来学习在这些数据集中定位句子的方法。我们提出以对比方式使用文本条件注意力人为合并片段以训练时间定位。该片段合并（CliMer）方法被证明相比高性能TSG方法有效——例如在Ego4D上平均R@1从3.9提升至5.7，在EPIC-Kitchens上从10.7提升至13.0。代码与数据划分见：https://github.com/keflanagan/CliMer
引用
@article{arxiv.2310.17395,
title = {Learning Temporal Sentence Grounding From Narrated EgoVideos},
author = {Kevin Flanagan and Dima Damen and Michael Wray},
journal= {arXiv preprint arXiv:2310.17395},
year = {2023}
}
备注
Accepted in BMVC 2023