大规模预训练用于 grounding 视频字幕生成
摘要
我们提出了一种用于视频字幕生成和对象 grounding 的新方法，其中字幕中的对象通过时序稠密的边界框在视频中进行 grounding。我们做了以下贡献：首先，我们提出了一种大规模自动标注方法，将以边界框 grounding 的帧级字幕聚合为时序稠密且一致的标注。我们将此方法应用于 HowTo100M 数据集，以构建大规模预训练数据集，命名为 HowToGround1M。我们还引入了 Grounded Video Caption Generation 模型，称其为 GROVE，并在 HowToGround1M 上进行预训练。其次，我们引入了 iGround——一个包含 3513 个视频，带有手动标注的字幕和稠密的时空 grounding 边界框的数据集。这使得我们能够衡量这一具有挑战性的问题的进展，并在该小规模高质量数据上微调我们的模型。第三，我们展示了我们的方法在提出的 iGround 数据集上以及 VidSTG、ActivityNet-Entities、GroundingYouTube 和 YouCook-Interactions 数据集上实现了最先进的成果。我们的消融实验证明了在自动标注的 HowToGround1M 数据集上预训练，再在手动标注的 iGround 数据集上微调的重要性，并验证了我们模型的关键技术贡献。数据集和代码均可在 https://ekazakos.github.io/grounded_video_caption_generation/ 获取。
引用
@article{arxiv.2503.10781,
title = {Large-scale Pre-training for Grounded Video Caption Generation},
author = {Evangelos Kazakos and Cordelia Schmid and Josef Sivic},
journal= {arXiv preprint arXiv:2503.10781},
year = {2025}
}
备注
Accepted at ICCV 2025. Erratum: An earlier version reported ablations (Table 6 & Fig. 6) with pre-training on a 50k subset of HowToGround1M + fine-tuning on iGround. In the ICCV camera-ready, Table 6 already used the full dataset, but Fig. 6 and a sentence in the text were mistakenly left on 50k. All now use the full HowToGround1M