SingVisio：歌声转换中扩散模型的可视化分析
声音
2024-09-20 v2 人机交互
音频与语音处理
摘要
在本研究中，我们提出了 SingVisio，一个交互式可视化分析系统，旨在解释用于歌声转换的扩散模型。SingVisio 提供了扩散模型生成过程的视觉展示，展示了含噪频谱的逐步去噪及其向捕获目标歌手音色的干净频谱的转换。该系统还便于对不同条件（如源内容、旋律和目标音色）进行并排比较，突出这些条件对扩散生成过程及最终转换结果的影响。通过对比和综合评估，SingVisio 展示了其在系统设计、功能性、可解释性和用户友好性方面的有效性。它为不同背景的用户提供了宝贵的学习体验，并使其深入理解用于歌声转换的扩散模型。
引用
@article{arxiv.2402.12660,
title = {SingVisio: Visual Analytics of Diffusion Model for Singing Voice Conversion},
author = {Liumeng Xue and Chaoren Wang and Mingxuan Wang and Xueyao Zhang and Jun Han and Zhizheng Wu},
journal= {arXiv preprint arXiv:2402.12660},
year = {2024}
}