增强型 2D-TAN：一种用于以人为中心的时空视频定位的两阶段方法
计算机视觉与模式识别
2022-05-06 v2
摘要
我们提出一种有效的两阶段方法来解决基于语言的以人为中心的时空视频定位（HC-STVG）任务问题。在第一阶段，我们提出增强型二维时间邻接网络（Augmented 2D-TAN）来根据给定描述在时间上定位目标片段。主要从两方面改进原始 2D-TAN：第一，开发时间上下文感知的 Bi-LSTM 聚合模块来聚合片段级表示，取代原始的最大池化。第二，我们提出在训练阶段采用随机拼接增强（RCA）机制。在第二阶段，我们使用预训练的 MDETR 模型通过语言查询生成逐帧边界框，并设计一组手工规则来为定位片段内的每一帧选择 MDETR 输出的最佳匹配边界框。
引用
@article{arxiv.2106.10634,
title = {Augmented 2D-TAN: A Two-stage Approach for Human-centric Spatio-Temporal Video Grounding},
author = {Chaolei Tan and Zihang Lin and Jian-Fang Hu and Xiang Li and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2106.10634},
year = {2022}
}
备注
Best Paper Award at the 3rd Person in Context (PIC) Challenge CVPR Workshop 2021