基于组合式端到端模型的口语理解词符级序列标注
计算与语言
2022-10-31 v1 声音
音频与语音处理
摘要
端到端口语理解(SLU)系统因其简洁性以及避免错误传播的能力，正比级联方法日益流行。然而，这些系统将序列标注建模为序列预测任务，从而偏离了其成熟的词符级标注形式。我们构建了组合式端到端 SLU 系统，明确地将 SLU 中识别口语提及的额外复杂度与序列标注的 NLU 任务分离。通过依赖为 ASR 训练的中间解码器，我们的端到端系统将输入模态从语音转换为可用于传统序列标注框架的词符级表示。我们端到端 SLU 系统中 ASR 与 NLU 公式的这种组合，提供了与预训练 ASR 和 NLU 系统的直接兼容性，允许对各组件性能进行监控，并支持使用如 CRF 等全局归一化损失，使其在实际场景中颇具吸引力。我们的模型在跨 SLU 基准的命名实体识别标注任务上优于级联式和直接端到端模型。
引用
@article{arxiv.2210.15734,
title = {Token-level Sequence Labeling for Spoken Language Understanding using Compositional End-to-End Models},
author = {Siddhant Arora and Siddharth Dalmia and Brian Yan and Florian Metze and Alan W Black and Shinji Watanabe},
journal= {arXiv preprint arXiv:2210.15734},
year = {2022}
}
备注
Accepted at EMNLP 2022 Findings. Our code and models will be publicly available as part of the ESPnet-SLU toolkit: https://github.com/espnet/espnet and the release can be followed here: https://github.com/espnet/espnet/pull/4735