MovieCuts：用于剪辑类型识别的新数据集与基准
计算机视觉与模式识别
2022-10-25 v3
摘要
理解电影及其结构模式是解读视频剪辑艺术的一项关键任务。尽管先前的工作已开发出用于通用分析的工具，例如在镜头级别检测角色或识别摄影属性，但较少有研究致力于理解最基础的视频编辑——剪辑（Cut）。本文提出了剪辑类型识别任务，该任务需要对多模态信息进行建模。为在这一新任务上激发研究，我们构建了一个名为 MovieCuts 的大规模数据集，包含 173,967 个视频片段，标注有电影行业专业人员定义的十种剪辑类型。我们对一组视听方法进行了基准测试，其中包括一些处理该问题多模态性质的方法。我们的最佳模型达到了 47.7% 的 mAP，这表明该任务具有挑战性，且实现高精度的剪辑类型识别是一个开放的研究问题。自动剪辑类型识别的进展可释放视频编辑行业中的新体验，例如用于教育的电影分析、视频重剪辑、虚拟摄影、机器辅助预告片生成、机器辅助视频编辑等。我们的数据和代码公开可用：https://github.com/PardoAlejo/MovieCuts。
引用
@article{arxiv.2109.05569,
title = {MovieCuts: A New Dataset and Benchmark for Cut Type Recognition},
author = {Alejandro Pardo and Fabian Caba Heilbron and Juan León Alcázar and Ali Thabet and Bernard Ghanem},
journal= {arXiv preprint arXiv:2109.05569},
year = {2022}
}
备注
Paper's website: https://www.alejandropardo.net/publication/moviecuts/