基于无配对音视频数据的SONIQUE视频背景音乐生成
声音
2025-02-27 v2 多媒体
音频与语音处理
摘要
我们提出SONIQUE，这是一个用于生成针对视频内容优化的背景音乐的模型。不同于传统的视频到音乐生成方法依赖大量配对音视频数据，SONIQUE利用无配对数据，组合免版权音乐和独立视频来源。通过利用大语言模型(LLM)进行视频理解，将视觉描述转换为音乐标签，以及基于U-Net的条件扩散模型，SONIQUE实现了可定制的音乐生成。用户可以控制音乐的特定方面，如乐器、风格、节拍和旋律，确保生成的输出符合其创作愿景。SONIQUE是开源的，并提供了在线演示。
引用
@article{arxiv.2410.03879,
title = {SONIQUE: Video Background Music Generation Using Unpaired Audio-Visual Data},
author = {Liqian Zhang and Magdalena Fuentes},
journal= {arXiv preprint arXiv:2410.03879},
year = {2025}
}
备注
The paper has been accepted for ICASSP 2025, updating the latest camera-ready version