基于集合学习的跨类别视频精彩片段检测
计算机视觉与模式识别
2021-08-27 v1
摘要
自动精彩片段检测对于提升社交媒体平台上视频浏览效率至关重要。为以数据驱动方式实现该目标，人们常面临如下情形：实际使用的目标视频类别上无精彩片段标注可用，而另一视频类别（称为源视频类别）上的监督信号可获取。在此情形下，可将从源视频类别习得的精彩片段知识迁移至目标类别，从而在目标视频类别上得到有效的精彩片段检测器。我们称此问题为跨类别视频精彩片段检测，以往工作鲜有研究。针对这一实际问题，我们提出基于双学习器的视频精彩片段检测（DL-VHD）框架。在该框架下，我们首先设计基于集合的学习模块（SL-module），通过在更宽泛的上下文中评估视频片段的精彩程度，改进传统的基于成对的学习。基于此种学习方式，我们引入两种不同的学习器，分别获取目标类别视频的基本区分性与源视频类别上精彩时刻的特征。这两类精彩片段知识进一步通过知识蒸馏得以融合。在三个基准数据集上的大量实验证明了所提 SL-module 的优越性，且 DL-VHD 方法在多项跨类别精彩片段检测任务上优于五种典型的无监督域适应（UDA）算法。我们的代码见 https://github.com/ChrisAllenMing/Cross_Category_Video_Highlight 。
引用
@article{arxiv.2108.11770,
title = {Cross-category Video Highlight Detection via Set-based Learning},
author = {Minghao Xu and Hang Wang and Bingbing Ni and Riheng Zhu and Zhenbang Sun and Changhu Wang},
journal= {arXiv preprint arXiv:2108.11770},
year = {2021}
}
备注
Accepted as poster presentation at International Conference on Computer Vision (ICCV), 2021