DemoNSF：一种面向噪声槽填充任务的多任务基于示例的生成框架
计算与语言
2023-10-17 v1 人工智能
信息检索
机器学习
摘要
近来，基于提示的生成框架在序列标注任务中展现出令人印象深刻的性能。然而，在实际对话场景中，仅依赖简单模板与传统语料库会使这些方法难以泛化到未知输入扰动。为弥补这一不足，我们提出一种面向噪声槽填充的多任务基于示例的生成框架，名为DemoNSF。具体而言，我们引入三种噪声辅助任务，即噪声恢复(NR)、随机掩码(RM)与混合判别(HD)，以在不同粒度上隐式捕获输入扰动的语义结构信息。在下游主任务中，我们为生成框架设计了一种噪声示例构建策略，在训练与推理时显式融入任务特定信息与扰动分布。在两个基准上的实验表明，DemoNSF优于所有基线方法并实现了强泛化性。进一步分析为生成框架的实际应用提供了经验性指导。我们的代码发布于 https://github.com/dongguanting/Demo-NSF。
引用
@article{arxiv.2310.10169,
title = {DemoNSF: A Multi-task Demonstration-based Generative Framework for Noisy Slot Filling Task},
author = {Guanting Dong and Tingfeng Hui and Zhuoma GongQue and Jinxu Zhao and Daichi Guo and Gang Zhao and Keqing He and Weiran Xu},
journal= {arXiv preprint arXiv:2310.10169},
year = {2023}
}
备注
Findings of EMNLP 2023 (Short Paper)