ML-LMCL：用于提升口语语言理解中ASR鲁棒性的互学习与大间隔对比学习
计算与语言
2023-11-21 v1
摘要
口语语言理解（SLU）是任务型对话系统中的基础任务。然而，自动语音识别（ASR）不可避免的误差通常会损害理解性能并导致错误传播。尽管已有一些通过对比学习解决该问题的尝试，但它们（1）在微调中将干净人工转录文本与ASR转录文本无差别地同等对待；（2）忽视了在应用对比学习时语义相似对仍被推远的事实；（3）遭受Kullback-Leibler（KL）消失问题。本文中，我们提出互学习与大间隔对比学习（ML-LMCL），一种用于提升SLU中ASR鲁棒性的新框架。具体而言，在微调中，我们应用互学习并分别在人工转录文本和ASR转录文本上训练两个SLU模型，旨在这两个模型间迭代共享知识。我们还引入了距离极化正则化器，以尽可能避免推远类内对。此外，我们使用循环退火调度来缓解KL消失问题。在三个数据集上的实验表明，ML-LMCL优于现有模型并取得了新的SOTA性能。
引用
@article{arxiv.2311.11375,
title = {ML-LMCL: Mutual Learning and Large-Margin Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding},
author = {Xuxin Cheng and Bowen Cao and Qichen Ye and Zhihong Zhu and Hongxiang Li and Yuexian Zou},
journal= {arXiv preprint arXiv:2311.11375},
year = {2023}
}