基于节拍弹性对齐的智能音乐引导电影预告片生成——BEAT
计算机视觉与模式识别
2026-05-27 v1
摘要
自动电影预告片生成必须从整部电影中选择镜头并与背景音乐同步。现有方法要么将音乐对齐 relegated到后处理，要么强制实现刚性的一对一镜头-音乐映射，忽视了专业剪辑节奏是弹性的：快速切割伴随高能段落，而持续镜头跨越安静的小节。我们引入BEAT框架，通过两个核心组件解决这一问题：MuVA，一个采用Sinkhorn正则化两阶段学习训练的紧凑音乐-视觉对齐编码器；Bar-DP，一种能量自适应的动态规划算法，按照音乐动态产生弹性的多对一对齐。这些组件集成到一个五阶段的智能代理管道中，通过结构化文本信号在所学的跨模态特征中锚定核心对齐，同时协调更高层次的创意决策。为支持全面评估，我们还引入TrailerArena基准，覆盖四个互补维度的20+指标。在TrailerArena上，BEAT在镜头选择、排序和感知质量方面实现了最佳性能，同时能够端到端生成完整构成的预告片。
引用
@article{arxiv.2605.27067,
title = {BEAT: Rhythm-Elastic Alignment for Agentic Music-guided Movie Trailer Generation},
author = {Yutong Wang and Yunke Wang and Xinyuan Chen and Chang Xu},
journal= {arXiv preprint arXiv:2605.27067},
year = {2026}
}