赢得 CVPR'2021 Kinetics-GEBD 挑战赛:对比学习方法
计算机视觉与模式识别
2021-06-23 v1
摘要
通用事件边界检测(GEBD)是一项新引入的任务,旨在检测对应于自然人感知的“通用”事件边界。本文中,我们引入一种基于对比学习的新方法来处理 GEBD。我们的直觉是,视频片段的特征相似度在事件边界附近会显著变化,而在视频其余部分则保持相对不变。在我们的模型中,时间自相似矩阵(TSM)被用作中间表示,起到信息瓶颈的作用。借助我们的模型,我们相比给定基线取得了显著的性能提升。我们的代码见 https://github.com/hello-jinwoo/LOVEU-CVPR2021。
引用
@article{arxiv.2106.11549,
title = {Winning the CVPR'2021 Kinetics-GEBD Challenge: Contrastive Learning Approach},
author = {Hyolim Kang and Jinwoo Kim and Kyungmin Kim and Taehyun Kim and Seon Joo Kim},
journal= {arXiv preprint arXiv:2106.11549},
year = {2021}
}