短视频剪辑中的镜头序列排序：基准数据集、评估指标与电影学启发的计算方法
计算机视觉与模式识别
2025-03-26 v2 人工智能
摘要
随着短视频平台的兴起，视频制作需求大幅上升。然而，高质量视频创建仍严重依赖专业编辑技能及对视觉语言的细致理解。为应对此挑战，AI辅助视频剪辑中的镜头序列排序（Shot Sequence Ordering, SSO）任务已成为提升视频叙事与整体观看体验的关键方法。然而，当前领域进展受限于缺乏公开可用的基准数据集。为此，本文引入两个新型基准数据集，分别为AVE-Order和ActivityNet-Order。我们采用Kendall Tau距离作为SSO任务的评估指标，并提出Kendall Tau Distance-Cross Entropy Loss。进一步引入镜头序列嵌入（Cinematology Embedding）的概念，将电影元数据和镜头标签作为先验知识融入SSO模型，同时构建AVE-Meta数据集以验证方法有效性。实验结果表明，所提出的损失函数和方法显著提升了SSO任务的准确性。所有数据集均公开访问于 https://github.com/litchiar/ShotSeqBench。
引用
@article{arxiv.2503.17975,
title = {Shot Sequence Ordering for Video Editing: Benchmarks, Metrics, and Cinematology-Inspired Computing Methods},
author = {Yuzhi Li and Haojun Xu and Feng Tian},
journal= {arXiv preprint arXiv:2503.17975},
year = {2025}
}