基于对比学习和一致性学习的神经噪声信道模型在语音理解中的应用
计算与语言
2024-05-27 v1 人工智能
摘要
最近, 深度端到端学习方法被应用于语音理解(SLU)中的意图分类。然而, 端到端模型需要大量带有意图标签的语音数据, 且高度优化的模型通常对训练和评估条件之间的不一致性较为敏感。因此, 基于自动语音识别(ASR)的自然语言理解方法仍显得吸引人, 因为它可以利用预训练的通用语言模型, 并适应语音输入环境的不匹配。通过这种模块化方法, 我们改进了噪声信道模型, 以处理由ASR错误引起的转录不一致性。我们提出了一种两阶段方法, 对比学习和一致性学习(CCL), 通过关联干净语音转录和噪声语音转录中的错误模式, 并强调两种转录潜在特征的一致性。在四个基准数据集上的实验表明, CCL优于现有方法, 在 various noisy environments 中提高了ASR的鲁棒性。代码可在 https://github.com/syoung7388/CCL 查看。
引用
@article{arxiv.2405.15097,
title = {Contrastive and Consistency Learning for Neural Noisy-Channel Model in Spoken Language Understanding},
author = {Suyoung Kim and Jiyeon Hwang and Ho-Young Jung},
journal= {arXiv preprint arXiv:2405.15097},
year = {2024}
}
备注
Accepted NAACL 2024