音乐与广义声音情感的联合学习
声音
2024-08-15 v2 人工智能
音频与语音处理
摘要
本研究旨在确定广义声音与音乐是否可以共享相同的情感空间，从而提高对情感唤醒度和价值尺度的预测。我们提出了将多个数据集作为多域学习技术的使用方法。我们的研究方法涉及创建一个包含特征的共同空间，这些特征能够表征广义声音和音乐，因为它们可以以类似方式引发情感。为实现这一目标，我们采用了两个公开可用的数据集，即 IADS-E 和 PMEmo，遵循标准化的实验方案。我们运用了多种特征来捕捉音频结构的不同方面，包括谱、能量和音调等关键参数。随后，我们在共同特征空间上进行联合学习，利用异构模型架构。有趣的是，这种协同方案在音乐和声音情感预测中均超越了当前的最先进技术。实现完整复制所呈现实验管道的编码可在 https://github.com/LIMUNIMI/MusicSoundEmotions 获取。
引用
@article{arxiv.2408.02009,
title = {Joint Learning of Emotions in Music and Generalized Sounds},
author = {Federico Simonetta and Francesca Certo and Stavros Ntalampiras},
journal= {arXiv preprint arXiv:2408.02009},
year = {2024}
}
备注
Accepted at Audio Mostly 2024, Milan