调和像素与旋律：大师引导的电影配乐生成与作曲风格迁移
多媒体
2024-11-13 v1
摘要
我们提出了一个电影配乐生成框架，利用潜在扩散模型调和视觉像素与音乐旋律。该框架以电影片段为输入，生成符合总体主题的音乐，同时提供将输出定制为特定作曲风格的能力。我们的模型直接从视频生成音乐，利用 ControlNet 上简化高效的调优机制。它还集成了一个擅长理解电影语义深度、情感冲击和审美吸引力的电影编码器。此外，我们引入了一种新颖、有效且直观的评价指标，用于评估电影配乐中音乐的独创性和可识别性。为了填补电影配乐领域的这一空白，我们策划了一个包含电影视频和传奇原声音乐的综合数据集，将领域特定知识注入我们的数据驱动生成模型。我们的模型在创作电影配乐方面优于现有方法，能够生成反映大师风格指导的音乐，从而重新定义了自动化电影配乐的基准，并为该领域未来的研究奠定了坚实基础。代码和生成样本可在 https://anonymous.4open.science/r/HPM 获取。
引用
@article{arxiv.2411.07539,
title = {Harmonizing Pixels and Melodies: Maestro-Guided Film Score Generation and Composition Style Transfer},
author = {F. Qi and L. Ni and C. Xu},
journal= {arXiv preprint arXiv:2411.07539},
year = {2024}
}