弱监督时间句子 grounding 通过正样本挖掘
计算机视觉与模式识别
2025-05-13 v1
摘要
弱监督时间句子 grounding（WSTSG）旨在从未剪裁的视频中检测与语言描述相对应的时间区间，仅依赖视频级别的视频语言对应关系。对于锚定样本，现有方法要么来自其他视频，要么来自同一视频内生成负样本进行对比学习。然而，一些训练样本与锚定样本高度相似，直接将其视为负样本会导致优化困难，忽略了这些相似样本与锚定样本之间的相关性。为此，我们提出正样本挖掘（PSM），一种一种新型框架，通过从训练集中挖掘正样本以提供更具判别性的监督。具体而言，对于给定的锚定样本，我们基于其文本查询相似度将剩余训练集划分为语义相似和语义不相似两个子集。为有效利用这些相关性，我们引入PSM引导的对比损失，以确保锚定proposal与相似样本更接近，与不相似样本更远。此外，我们设计了PSM引导的排序损失，以确保相似样本比锚定proposal与负样本内视频proposal更接近，从而区分锚定proposal与负样本内视频proposal。在WSTSG和grounded VideoQA任务上的实验表明，我们的方法有效且优于现有方法。
引用
@article{arxiv.2505.06557,
title = {Weakly Supervised Temporal Sentence Grounding via Positive Sample Mining},
author = {Lu Dong and Haiyu Zhang and Hongjie Zhang and Yifei Huang and Zhen-Hua Ling and Yu Qiao and Limin Wang and Yali Wang},
journal= {arXiv preprint arXiv:2505.06557},
year = {2025}
}
备注
TCSVT 2025, doi at https://ieeexplore.ieee.org/document/10970001