采用 Pull-Push 学习方案的高斯混合提议以捕获多样化事件用于弱监督时序视频定位
计算机视觉与模式识别
2024-04-05 v1 人工智能
摘要
在弱监督时序视频定位研究中，以往的方法使用预定的单高斯提议，缺乏表达句子查询所描述的多样化事件的能力。为了增强提议的表达能力，我们提出了一种高斯混合提议 (GMP)，它可以通过学习混合中每个高斯的重要性、质心和范围来描绘任意形状。在学习 GMP 时，每个高斯不是在特征空间中训练的，而是在时间位置上实现的。因此，传统的高斯混合模型基于特征的学习不适用于我们的情况。在我们的特殊设置中，为了学习捕获多样化事件的适度耦合高斯混合，我们新提出了一种采用拉扯损失和推拒损失的 Pull-Push 学习方案，二者各自扮演相反的角色。通过广泛的消融实验深入验证了我们方案中各组件的效果，且总体方案达到了 SOTA 性能。我们的代码可在 https://github.com/sunoh-kim/pps 获取。
引用
@article{arxiv.2312.16388,
title = {Gaussian Mixture Proposals with Pull-Push Learning Scheme to Capture Diverse Events for Weakly Supervised Temporal Video Grounding},
author = {Sunoh Kim and Jungchan Cho and Joonsang Yu and YoungJoon Yoo and Jin Young Choi},
journal= {arXiv preprint arXiv:2312.16388},
year = {2024}
}
备注
Accepted in AAAI 2024