TempRet：面向 CVPR 2026 EPIC-KITCHENS-100 多实例检索挑战的时序增强与两阶段重排序
计算机视觉与模式识别
2026-05-26 v1
摘要
视频-文本检索在大规模视觉-语言预训练的推动下取得了显著进展，然而大多数现有方法继承了图像-文本检索的一个隐含假设：视觉语义可以逐帧捕获。这一假设忽略了第一人称视频的时序动态特性。EPIC-KITCHENS-100 多实例检索（MIR）挑战通过提供软标签相关性矩阵而非二值标签，进一步提高了要求，要求模型能够解析跨模态的分级语义对应关系。在本报告中，我们介绍了面向 CVPR 2026 EPIC-KITCHENS-100 MIR 挑战的解决方案 TempRet。我们的方法基于 CLIP 双编码器骨干，并引入了两个关键组件以应对时序和跨模态挑战。首先，一个时序 Transformer 专门作用于视频侧，通过对帧级 CLIP 特征进行可学习位置编码和多头自注意力来建模帧间依赖关系。其次，一个两阶段重排序流水线首先通过双编码器检索 Top-K 候选，然后使用配备图像-文本匹配（ITM）头的交叉编码器细化其得分。整个系统使用对称多相似性损失进行训练，以利用挑战提供的软标签相关性矩阵。我们的方法在 EK-100 MIR 基准上达到了 67.97% 的平均 mAP 和 82.92% 的平均 nDCG，证明了时序建模和跨模态细化对于第一人称视频检索的有效性。
引用
@article{arxiv.2605.24470,
title = {TempRet: Temporal Enhancement and Two-Stage Reranking for CVPR 2026 EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge},
author = {Zixu Li and Yupeng Hu and Zhiwei Chen and Zhiheng Fu and Xiaowei Zhu and Weili Guan and Liqiang Nie},
journal= {arXiv preprint arXiv:2605.24470},
year = {2026}
}
备注
Technical Report for CVPR 2026 EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge