基于层次变分自编码器的情感条件旋律和声化
声音
2023-07-21 v4 机器学习
多媒体
音频与语音处理
摘要
现有的旋律和声化模型在提升生成和声质量方面已取得很大进展，但多数忽略了音乐底层的情感。同时，以往方法生成的和声多样性不足。为解决这些问题，我们提出一种新颖的基于 LSTM 的层次变分自编码器（LHVAE），以探究情感条件对旋律和声化的影响，同时提升生成和声的质量并捕捉和弦进行丰富的多样性。具体而言，LHVAE 在不同层次（乐曲级与小节级）融入潜变量与情感条件，以建模全局与局部音乐属性。此外，我们在每一步引入基于注意力的旋律上下文向量，以更好地学习旋律与和声之间的对应关系。客观实验结果表明，我们所提模型优于其他基于 LSTM 的模型。通过主观评价，我们得出结论：仅改变和弦类型难以改变音乐的整体情感。定性分析展示了我们的模型生成多样性和声的能力。
引用
@article{arxiv.2306.03718,
title = {Emotion-Conditioned Melody Harmonization with Hierarchical Variational Autoencoder},
author = {Shulei Ji and Xinyu Yang},
journal= {arXiv preprint arXiv:2306.03718},
year = {2023}
}
备注
Accepted by IEEE SMC 2023