PSSAT：一种用于抗扰动槽填充的扰动语义结构感知迁移方法
计算与语言
2022-09-16 v3
摘要
大多数现有的槽填充模型倾向于从训练数据中记忆实体及其对应上下文的固有模式。然而，当这些模型在实际情况中遇到口语扰动或变化时，可能导致系统失效或产生不期望的输出。我们提出了一种扰动语义结构感知迁移方法，用于训练抗扰动的槽填充模型。具体而言，我们引入两种基于MLM的训练策略，分别从无监督语言扰动语料中学习上下文语义结构和词分布。然后，我们将上游训练过程中学到的语义知识迁移到原始样本中，并通过一致性处理对生成的数据进行过滤。这些步骤旨在增强槽填充模型的鲁棒性。实验结果表明，我们的方法始终优于先前的基础方法，并在防止模型记忆实体和上下文固有模式的同时获得了很强的泛化能力。
引用
@article{arxiv.2208.11508,
title = {PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling},
author = {Guanting Dong and Daichi Guo and Liwen Wang and Xuefeng Li and Zechen Wang and Chen Zeng and Keqing He and Jinzheng Zhao and Hao Lei and Xinyue Cui and Yi Huang and Junlan Feng and Weiran Xu},
journal= {arXiv preprint arXiv:2208.11508},
year = {2022}
}
备注
Accepted by COLING 2022