Neurodyne：基于表示学习和循环一致性 GAN 的神经音高操控
声音
2025-08-18 v4 音频与语音处理
摘要
音高操控是指制作人调整音频段的音高以达到特定调性和演唱准确性，这在音乐制作中至关重要。近年来，基于神经网络的音高操控系统因其在合成质量上优于经典 DSP 方法而备受欢迎。然而，其性能仍受限于使用源-滤波模型进行特征解耦不准确，以及缺乏配对的升调和降调训练数据。本工作提出了 Neurodyne 以解决上述问题。具体而言，Neurodyne 使用对抗性表示学习来学习无音高依赖的潜在表示，以避免不准确的解耦，并通过循环一致性训练来隐式创建配对训练数据。针对全局调音和模板式音高操控进行的实验结果表明，所提出的系统有效，实现了在保持原歌手身份的同时提升合成质量。
引用
@article{arxiv.2505.15368,
title = {Neurodyne: Neural Pitch Manipulation with Representation Learning and Cycle-Consistency GAN},
author = {Yicheng Gu and Chaoren Wang and Zhizheng Wu and Lauri Juvela},
journal= {arXiv preprint arXiv:2505.15368},
year = {2025}
}