协作式噪声标签清洗器：利用场景感知预告片进行电影多模态高光检测
计算机视觉与模式识别
2023-03-28 v1
摘要
电影高光片段从剧本中脱颖而出，便于高效浏览，并在社交媒体平台上发挥着关键作用。基于已有工作，本文有两个观察：（1）对于不同标注者，高光标注具有不确定性，导致标注不准确且耗时。（2）除先前的监督或无监督设定外，一些现有视频语料可加以利用，例如预告片，但它们通常含有噪声且不完整，无法覆盖全部高光。本工作中，我们研究一种更实用且更有前景的设定，即将高光检测重新表述为“带噪声标签的学习”。该设定无需耗时的手动标注，且能充分利用现有丰富视频语料。首先，基于电影预告片，我们利用场景分割获取完整镜头，将其视为噪声标签。随后，我们提出一种协作式噪声标签清洗器（CLC）框架，从噪声高光时刻中学习。CLC 由两个模块组成：增强交叉传播（ACP）和多模态清洗（MMC）。前者旨在利用紧密相关的音视频信号并将其融合以学习统一的多模态表示；后者旨在通过观测不同模态间损失的变化来获得更干净的高光标签。为验证 CLC 的有效性，我们进一步收集了一个名为 MovieLights 的大规模高光数据集。在 MovieLights 和 YouTube Highlights 数据集上的综合实验证明了我们方法的有效性。代码已公开于：https://github.com/TencentYoutuResearch/HighlightDetection-CLC
引用
@article{arxiv.2303.14768,
title = {Collaborative Noisy Label Cleaner: Learning Scene-aware Trailers for Multi-modal Highlight Detection in Movies},
author = {Bei Gan and Xiujun Shu and Ruizhi Qiao and Haoqian Wu and Keyu Chen and Hanjun Li and Bo Ren},
journal= {arXiv preprint arXiv:2303.14768},
year = {2023}
}
备注
Accepted to CVPR2023