Polyphonia：基于声学信息注意力校准的复调音乐零样本音色迁移
声音
2026-05-12 v1 音频与语音处理
摘要
基于扩散的文本到音乐生成的进步为零样本音乐编辑开辟了新途径。然而，现有方法无法实现特定音轨的音色迁移，即要求改变特定音轨的同时严格保留背景伴奏。这一局限性严重阻碍了实际应用，因为现实世界的音乐制作需要精确操控密集混合物中的各个成分。我们的关键发现是，尽管原始的交叉注意力能捕捉音轨的语义特征，但它缺乏在密集混合物中严格定位目标的频谱分辨率，从而导致边界泄漏。为了解决这一困境，我们提出了 Polyphonia，一个具有声学信息注意力校准的零样本编辑框架。Polyphonia 不再仅依赖弥散的语义注意力，而是利用概率声学先验建立粗略边界，从而使非目标音轨保持精确的语义合成。为了进行评估，我们提出了 PolyEvalPrompts，一个包含 1,170 个复调音乐音色迁移任务的标准化提示集。具体而言，与基线相比，Polyphonia 在目标对齐方面提升了 15.5%，同时保持了具有竞争力的音乐保真度和非目标完整性。
引用
@article{arxiv.2605.10203,
title = {Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration},
author = {Haowen Li and Tianxiang Li and Yi Yang and Boyu Cao and Qi Liu},
journal= {arXiv preprint arXiv:2605.10203},
year = {2026}
}
备注
Accepted by ICML 2026