潜在音频标记器中的标记空间操作探索
声音
2026-05-13 v1 人工智能
机器学习
摘要
神经音频编解码器为语音生成和操作提供紧凑的离散表示。然而，大多数编解码器将标记组织为帧级序列，这使得难以研究或干预全局变化因素。在本工作中，我们提出了用于标记空间编辑的潜在音频编解码器（LATTE），该编解码器在音频特征序列上附加一组固定的可学习潜在标记，并仅保留这些标记进行量化和解码。该设计产生一个紧凑的、非时间对齐的瓶颈，其中每个标记可以聚合整个语料库跨越的全局信息。我们展示了所得编解码器在低比特率语音编码设置中保持竞争的重构质量，同时实现简单的标记空间干预。特别地，我们发现在语音转换和去噪任务上，交换选定的潜在标记位置可以修改全局属性，如说话人身份和背景噪声。我们的结果表明，紧凑的潜在音频编解码器可以在不监督的情况下支持可控的音频操作，而无需任务特定的编辑模型。
引用
@article{arxiv.2605.11192,
title = {Exploring Token-Space Manipulation in Latent Audio Tokenizers},
author = {Francesco Paissan and Luca Della Libera and Mirco Ravanelli and Cem Subakan},
journal= {arXiv preprint arXiv:2605.11192},
year = {2026}
}