UniMD：迈向统一时刻检索与时序动作检测
计算机视觉与模式识别
2024-07-12 v2
摘要
时序动作检测（TAD）专注于检测预定义动作，而时刻检索（MR）旨在从未剪辑视频中识别由开放式自然语言描述的事件。尽管它们关注不同的事件，但我们观察到它们之间存在显著联系。例如，MR中的大多数描述涉及TAD中的多个动作。在本文中，我们旨在研究TAD与MR之间的潜在协同作用。首先，我们提出了一种用于TAD和MR的统一架构，称为统一时刻检测（UniMD）。该架构将两个任务的输入（即TAD的动作或MR的事件）转换到共同的嵌入空间，并利用两个新颖的依赖查询的解码器来生成分类分数与时序片段的统一输出。其次，我们探索了两种任务融合学习方案（预训练与协同训练）的有效性，以增强TAD与MR之间的互惠互利。大量实验表明，所提出的任务融合学习方案使两个任务能够相互促进，并优于单独训练的对应模型。令人印象深刻的是，UniMD在三个成对数据集 Ego4D、Charades-STA 和 ActivityNet 上取得了最先进的结果。我们的代码可在 https://github.com/yingsen1/UniMD 获取。
引用
@article{arxiv.2404.04933,
title = {UniMD: Towards Unifying Moment Retrieval and Temporal Action Detection},
author = {Yingsen Zeng and Yujie Zhong and Chengjian Feng and Lin Ma},
journal= {arXiv preprint arXiv:2404.04933},
year = {2024}
}
备注
ECCV2024