LI-TTA：面向自动语音识别的语言信息测试时适应
计算与语言
2024-08-13 v1 声音
音频与语音处理
摘要
测试时适应 (TTA) 已成为解决领域迁移挑战的关键方法，即目标环境与原始训练环境存在差异。在自动语音识别 (ASR) 中，TTA 通过最小化输出预测熵作为自监督信号来提升模型性能。然而，这种自监督方法的关键局限在于其主要关注声学特征，对输入语言属性的关注有限。为此，我们提出语言信息测试时适应 (LI-TTA)，在 AS R 的 TTA 中融入语言见解。LI-TTA 通过最小化来自外部语言模型的校正与标准 TTA 损失的 CTC 损失，将语言信息与声学信息相结合。通过大量实验，我们展示了 LI-TTA 在 various 分布迁移情境下有效提升了 AS R TTA 的性能。
引用
@article{arxiv.2408.05769,
title = {LI-TTA: Language Informed Test-Time Adaptation for Automatic Speech Recognition},
author = {Eunseop Yoon and Hee Suk Yoon and John Harvill and Mark Hasegawa-Johnson and Chang D. Yoo},
journal= {arXiv preprint arXiv:2408.05769},
year = {2024}
}
备注
INTERSPEECH 2024