MetaBGM：面向连续多场景体验的动态背景音乐变换框架
声音
2024-09-09 v1 人工智能
人机交互
多媒体
音频与语音处理
摘要
本文介绍MetaBGM——一个为动态场景和实时用户交互生成背景音乐的开创性框架。我们将多场景定义为环境语境的变化，如游戏设置或电影场景的过渡。为解决将后端数据转化为音频生成模型可用文本描述的难题，MetaBGM采用新颖的两阶段生成方法，将连续场景和用户状态数据转化为文本，再输入音频生成模型实现实时音轨创建。实验结果表明，MetaBGM能为交互式应用生成情境相关且动态的背景音乐。
引用
@article{arxiv.2409.03844,
title = {MetaBGM: Dynamic Soundtrack Transformation For Continuous Multi-Scene Experiences With Ambient Awareness And Personalization},
author = {Haoxuan Liu and Zihao Wang and Haorong Hong and Youwei Feng and Jiaxin Yu and Han Diao and Yunfei Xu and Kejun Zhang},
journal= {arXiv preprint arXiv:2409.03844},
year = {2024}
}