语音 VAE 蒸馏损失函数：统一的重建、理解与生成视角
声音
2026-05-26 v2
摘要
基于变分自编码器（VAE）的连续语音表示正在成为传统频谱或离散标记特征的有前景替代方案，用于语音生成和重建。近期研究尝试通过与自监督学习（SSL）特征对齐来丰富 VAE 潜表征中的结构信息，以实现更好的生成性能。然而，当前广泛使用的基于时间轴蒸馏的对齐方法是否在更广泛任务上最优仍不明确。为此，本文系统探索了不同的对齐方法，并分析其对重建、理解和生成三个维度性能的影响。我们检验了蒸馏损失中的各种设计选择。大量实验表明，联合-边际对齐方法配合自适应加权可实现最佳整体性能，同时可实现可控的平衡。
引用
@article{arxiv.2604.12383,
title = {On the Distillation Loss Functions of Speech VAE for Unified Reconstruction, Understanding, and Generation},
author = {Changhao Cheng and Wei Wang and Wangyou Zhang and Dongya Jia and Jian Wu and Zhuo Chen and Yanmin Qian},
journal= {arXiv preprint arXiv:2604.12383},
year = {2026}
}
备注
Submitted to Interspeech 2026