基于对比预训练与对抗过滤的鲁棒任务型对话生成
计算与语言
2022-05-24 v1
摘要
数据伪特征会诱导机器学习模型利用数据中的捷径学习不可迁移的泛化规律，且越来越多的证据表明数据伪特征在深度学习模型近期于自然语言处理基准中取得的强劲结果中发挥了作用。本文关注任务型对话，并探究 MultiWOZ 等流行数据集是否包含此类数据伪特征。我们发现，仅保留训练样本中的高频短语时，最先进模型的性能与基于完整数据训练的变体相近，表明它们利用了这些虚假相关性来解决任务。受此启发，我们提出一种基于对比学习的框架，以促使模型忽略这些线索并专注于学习可泛化模式。我们还尝试了对抗过滤以移除“简单”训练样本，使模型聚焦于从“更难”的样本中学习。我们进行了多项泛化实验——例如跨领域/跨数据集与对抗测试——以评估方法的鲁棒性，结果发现其表现极为出色。
引用
@article{arxiv.2205.10363,
title = {Robust Task-Oriented Dialogue Generation with Contrastive Pre-training and Adversarial Filtering},
author = {Shiquan Yang and Xinting Huang and Jey Han Lau and Sarah Erfani},
journal= {arXiv preprint arXiv:2205.10363},
year = {2022}
}