无需训练的视频时段最优定位:高斯边界优化用于弱监督视频 grounding
计算机视觉与模式识别
2026-02-05 v2
摘要
弱监督式时序视频 grounding 旨在使用仅包含视频-句子对的未裁剪视频中定位查询相关时段,无需指定精确时序边界的 ground-truth segment 注释。最近的研究方法通过利用高斯-based 时序提案来表示查询相关时段。然而,他们的推理策略依赖于从高斯参数到 segment 边界的启发式映射,导致局部化性能次优。为此,我们提出了高斯边界优化 (GBO),一种新颖的推理框架,通过解决一个平衡提案覆盖和 segment 紧凑性的原则优化问题来预测 segment 边界。我们推导了该问题的闭式解,并在不同惩罚情境下严格分析了最优性条件。除了理论基础之外,GBO 还有几个实际优势:它无需训练,兼容单高斯和混合-based 提案架构。我们的实验表明,GBO 在标准基准上显著改进了局部化,实现了最先进的结果。广泛的实验表明了 GBO 在各种提案方案下的效率和通用性。代码已发布于 https://github.com/sunoh-kim/gbo。
引用
@article{arxiv.2602.03071,
title = {Finding Optimal Video Moment without Training: Gaussian Boundary Optimization for Weakly Supervised Video Grounding},
author = {Sunoh Kim and Kimin Yun and Daeho Um},
journal= {arXiv preprint arXiv:2602.03071},
year = {2026}
}
备注
Accepted in IEEE TMM