基于显著性引导的 DETR 用于时段检索与高亮检测
计算机视觉与模式识别
2026-02-04 v2
摘要
现有视频时段检索和高亮检测方法无法高效对齐文本与视频特征，导致性能不佳且在实际应用中受限。为此，我们提出一种新型架构，利用近期为此类对齐任务设计的基础视频模型。结合引入的显著性引导的交叉注意力机制和混合 DETR 架构，我们的方法在时段检索和高亮检测任务中显著提升性能。为进一步优化，我们开发了 InterVid-MR，一个大规模高质量的数据集用于预训练。借助该数据集，我们的架构在 QVHighlights、Charades-STA 和 TACoS 基准上实现了最先进的结果。该方法为视频语言任务中的零样本和微调场景提供了高效且可扩展的解决方案。
引用
@article{arxiv.2410.01615,
title = {Saliency-Guided DETR for Moment Retrieval and Highlight Detection},
author = {Aleksandr Gordeev and Vladimir Dokholyan and Irina Tolstykh and Maksim Kuprashevich},
journal= {arXiv preprint arXiv:2410.01615},
year = {2026}
}
备注
8 pages, 2 figure, 6 tables