UBoCo：用于通用事件边界检测的无监督边界对比学习
计算机视觉与模式识别
2021-12-01 v2 人工智能
摘要
通用事件边界检测（GEBD）是一项新近提出的视频理解任务，旨在寻找事件更深一层的语义边界。它弥合了人类自然感知与视频理解之间的鸿沟，具有包括可解释且语义有效的视频解析在内的多种潜在应用。现有GEBD求解器仍处于早期发展阶段，仅是相关视频理解任务的简单扩展，忽视了GEBD的独特性。在本文中，我们提出一种用于无监督/有监督GEBD的新框架，使用时间自相似矩阵（TSM）作为视频表示。新的递归TSM解析（RTP）算法利用TSM中的局部对角模式检测边界，并与边界对比（BoCo）损失结合以训练我们的编码器生成更具信息量的TSM。我们的框架可应用于无监督与有监督设定，二者在GEBD基准上均以巨大优势达到最先进性能。特别地，我们的无监督方法优于先前最先进的“有监督”模型，意味着其卓越效能。
引用
@article{arxiv.2111.14799,
title = {UBoCo : Unsupervised Boundary Contrastive Learning for Generic Event Boundary Detection},
author = {Hyolim Kang and Jinwoo Kim and Taehyun Kim and Seon Joo Kim},
journal= {arXiv preprint arXiv:2111.14799},
year = {2021}
}