REMAST：基于实时情绪的具有柔和过渡的音乐编排
声音
2024-07-30 v3 人工智能
音频与语音处理
摘要
音乐作为一种情绪干预媒介，在音乐治疗、游戏和电影等场景中有重要应用。然而，音乐需要根据变化的情绪进行实时编排，由于目标情绪的细粒度和易变性，在平衡情绪实时契合与柔和情绪过渡方面带来了挑战。现有研究主要关注实现情绪实时契合，而平滑过渡问题研究不足，影响了音乐的整体情绪连贯性。在本文中，我们提出 REMAST 来解决这一权衡。具体而言，我们识别上一步的音乐情绪并将其与当前步的输入情绪融合。融合后的情绪随后引导 REMAST 基于输入旋律生成音乐。为灵活调整音乐相似度与情绪实时契合，我们对原始旋律进行下采样并输入生成模型。此外，我们利用领域知识设计了四个音乐理论特征以增强情绪信息，并采用半监督学习来缓解人工数据集标注引入的主观偏差。根据评估结果，REMAST 在客观和主观指标上均超越了最先进的方法。这些结果表明，REMAST 同时实现了实时契合与平滑过渡，增强了生成音乐的连贯性。
引用
@article{arxiv.2305.08029,
title = {REMAST: Real-time Emotion-based Music Arrangement with Soft Transition},
author = {Zihao Wang and Le Ma and Chen Zhang and Bo Han and Yunfei Xu and Yikai Wang and Xinyi Chen and HaoRong Hong and Wenbo Liu and Xinda Wu and Kejun Zhang},
journal= {arXiv preprint arXiv:2305.08029},
year = {2024}
}