DistilMOS：基于自监督学习模型的逐层自蒸馏MOS预测
声音
2026-01-21 v1
摘要
随着自监督学习（SSL）的进步，微调预训练的SSL模型用于平均意见分（MOS）预测已取得了最先进的性能。然而，在微调过程中，这些基于SSL的MOS预测模型常常遭受预训练知识的灾难性遗忘，并倾向于过拟合训练集，导致泛化性能不佳。在本研究中，我们提出了DistilMOS，一种新颖的方法，它不仅学习预测MOS，还学习预测通过对预训练SSL模型中每一层的隐藏表示进行聚类而获得的令牌ID。这些逐层令牌目标作为自蒸馏信号，使MOS预测模型能够从SSL模型中提取丰富的内部知识，从而提升预测准确性和泛化能力。实验评估表明，我们的方法在域内和域外评估中均显著优于标准的基于SSL的MOS预测模型，验证了所提方法的有效性和实用性。
引用
@article{arxiv.2601.13700,
title = {DistilMOS: Layer-Wise Self-Distillation For Self-Supervised Learning Model-Based MOS Prediction},
author = {Jianing Yang and Wataru Nakata and Yuki Saito and Hiroshi Saruwatari},
journal= {arXiv preprint arXiv:2601.13700},
year = {2026}
}
备注
Accepted to ICASSP 2026