面向元宇宙的基于音色与中层次感知特征的歌手识别
声音
2022-05-25 v1 音频与语音处理
摘要
元宇宙是一个结合现实与虚拟的交互世界，参与者可以是虚拟化身。任何人都可以在虚拟音乐厅举办演唱会，用户可通过歌手识别快速辨识虚拟偶像背后的真实歌手。大多数歌手识别方法使用帧级特征进行处理。然而，除歌手音色外，音乐帧还包含旋律性、节奏和音调等音乐信息，这意味着对于使用帧级特征识别歌手而言，音乐信息即为噪声。本文中，我们提出除帧级特征外使用另外两种特征来解决该问题：中层次特征，表征音乐的旋律性、节奏稳定性和音调稳定性，能够捕捉音乐的感知特征；以及用于说话人识别的音色特征，表征歌手的嗓音特征。此外，我们提出一种卷积循环神经网络（CRNN）融合三种特征进行歌手识别。该模型首先融合帧级特征与音色特征，再将中层次特征与混合特征结合。实验中，所提方法在Artist20基准数据集上取得了平均F1分数0.81的可比性能，较相关工作的提升显著。
引用
@article{arxiv.2205.11817,
title = {Singer Identification for Metaverse with Timbral and Middle-Level Perceptual Features},
author = {Xulong Zhang and Jianzong Wang and Ning Cheng and Jing Xiao},
journal= {arXiv preprint arXiv:2205.11817},
year = {2022}
}
备注
Accepted by IJCNN2022 (The 2022 International Joint Conference on Neural Networks). arXiv admin note: text overlap with arXiv:2002.06817 by other authors