CARLOR @ Ego4D 步骤定位挑战：用于测试时细化的贝叶斯时序先验
计算机视觉与模式识别
2024-06-17 v1
摘要
步骤定位任务旨在基于自然语言描述定位活动的时序边界。本技术报告介绍了 Bayesian-VSLNet 以解决在冗长未剪辑的体悦式视频中识别此类时序片段的挑战。我们的模型通过在推理过程中引入新颖的贝叶斯时序先验，显著优于传统模型，提高了时刻预测的准确性。该先验调整了视频中循环和重复动作的处理。我们的评估表明，模型在 Ego4D Goal-Step 数据集上实现了突破性成绩，测试集上 Recall Top-1 at 0.3 IoU 为 35.18，Recall Top-1 at 0.5 IoU 为 20.48。
引用
@article{arxiv.2406.09575,
title = {CARLOR @ Ego4D Step Grounding Challenge: Bayesian temporal-order priors for test time refinement},
author = {Carlos Plou and Lorenzo Mur-Labadia and Ruben Martinez-Cantin and Ana C. Murillo},
journal= {arXiv preprint arXiv:2406.09575},
year = {2024}
}