Noise-BERT：一种用于噪声槽填充任务的统一扰动鲁棒框架及噪声对齐预训练
计算与语言
2024-03-07 v3
摘要
在真实的对话系统中，来自用户的输入信息往往受到各种类型的输入扰动影响，从而影响槽填充任务。虽然基于规则的数据增强方法已取得令人满意的结果，但在面对未知的噪声干扰时，它们未能表现出理想的泛化能力。在本研究中，我们通过提出 Noise-BERT（一种具有噪声对齐预训练的统一扰动鲁棒框架）来应对槽填充中输入扰动带来的挑战。我们的框架包含两项噪声对齐预训练任务：槽掩码预测和句子噪声判别，旨在引导预训练语言模型捕捉准确的槽信息和噪声分布。在微调阶段，我们采用对比学习损失以增强实体和标签的语义表示。此外，我们引入了一种对抗攻击训练策略以提高模型的鲁棒性。实验结果表明，我们提出的方法优于最先进 (SOTA) 的模型，进一步的分析证实了其有效性和泛化能力。
引用
@article{arxiv.2402.14494,
title = {Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task},
author = {Jinxu Zhao and Guanting Dong and Yueyan Qiu and Tingfeng Hui and Xiaoshuai Song and Daichi Guo and Weiran Xu},
journal= {arXiv preprint arXiv:2402.14494},
year = {2024}
}
备注
Accepted by ICASSP 2024