ESIE-BERT：基于 BERT 显式丰富子词信息以联合意图分类与槽填充
计算与语言
2023-02-03 v3 人工智能
摘要
自然语言理解（NLU）有两个核心任务：意图分类与槽填充。预训练语言模型的成功使这两个任务取得显著突破。其中一种前景广阔的方案 BERT 可联合优化两项任务。我们注意到，基于 BERT 的模型通过 wordpiece 算法将每个复杂词元转换为多个子词元，这导致词元与标签长度不匹配。这使得基于 BERT 的模型在标签预测上表现不佳，限制了模型性能提升。许多现有模型可兼容此问题，但在微调过程中丢弃了部分隐含语义信息。我们通过提出一种基于 BERT 的新型联合方法来解决该问题，该方法在 wordpiece 分词后显式建模多个子词元特征，从而有助于两项任务。我们的方法可通过所提子词注意力适配器（SAA）从复杂词元中很好地提取上下文特征，保留整体话语信息。此外，我们提出意图注意力适配器（IAA）以获取完整句子特征，辅助用户预测意图。实验结果证实，我们所提模型在两个公开基准数据集上显著提升。特别是在航空旅行信息系统（ATIS）数据集上，槽填充 F1 分数从 96.1 提升至 98.2（绝对提升 2.1%）。
引用
@article{arxiv.2211.14829,
title = {ESIE-BERT: Enriching Sub-words Information Explicitly with BERT for Joint Intent Classification and SlotFilling},
author = {Yu Guo and Zhilong Xie and Xingyan Chen and Huangen Chen and Leilei Wang and Huaming Du and Shaopeng Wei and Yu Zhao and Qing Li and Gang Wu},
journal= {arXiv preprint arXiv:2211.14829},
year = {2023}
}