ESA：用于自动视频剪辑的基于能量的镜头组装优化
计算机视觉与模式识别
2025-11-20 v2 人工智能
摘要
镜头组装是电影制作和视频剪辑中的关键步骤，涉及镜头的排序与排列，以构建叙事、传达信息或唤起情感。传统上，这一过程由经验丰富的剪辑师手动执行。尽管当前的智能视频剪辑技术能够处理部分自动化视频剪辑任务，但它们往往无法捕捉创作者在镜头组装中独特的艺术表达。为应对这一挑战，我们提出了一种用于视频镜头组装的基于能量的优化方法。具体而言，我们首先在由大型语言模型生成的脚本与视频库之间进行视觉语义匹配，以获得与脚本语义对齐的候选镜头子集。接着，我们对参考视频中的镜头进行分割和标注，提取诸如镜头尺寸、摄像机运动和语义等属性。然后，我们采用基于能量的模型从这些属性中学习，并根据候选镜头序列与参考风格的对齐程度对其进行评分。最后，我们通过结合多种语法规则实现镜头组装优化，生成与参考视频组装风格对齐的视频。我们的方法不仅能够根据特定逻辑、叙事要求或艺术风格自动化独立镜头的排列与组合，还能学习参考视频的组装风格，创建连贯的视觉序列或整体视觉表达。借助我们的系统，即使没有视频剪辑经验的用户也能创作出视觉上引人入胜的视频。项目页面：https://sobeymil.github.io/esa.com
引用
@article{arxiv.2511.02505,
title = {ESA: Energy-Based Shot Assembly Optimization for Automatic Video Editing},
author = {Yaosen Chen and Wei Wang and Tianheng Zheng and Xuming Wen and Han Yang and Yanru Zhang},
journal= {arXiv preprint arXiv:2511.02505},
year = {2025}
}