SGD-X：面向模式引导对话系统鲁棒泛化的基准
计算与语言
2022-08-24 v3
摘要
对未见服务的零样本/少样本迁移是任务型对话研究中的关键挑战。Schema-Guided Dialogue（SGD）数据集引入了一种范式，通过模式（schema）使模型在零样本下支持任意服务，模式以自然语言向模型描述服务 API。我们通过设计 SGD-X 来探究对话系统对模式中语言变化的鲁棒性——SGD-X 是一个扩展 SGD 的基准，为每个模式提供了语义相似但风格多样的变体。我们观察到两个顶尖状态追踪模型在跨模式变体泛化上表现不佳，这通过联合目标准确率与一种衡量模式敏感度的新指标测得。此外，我们提出了一种简单的模型无关数据增强方法以提升模式鲁棒性。
引用
@article{arxiv.2110.06800,
title = {SGD-X: A Benchmark for Robust Generalization in Schema-Guided Dialogue Systems},
author = {Harrison Lee and Raghav Gupta and Abhinav Rastogi and Yuan Cao and Bin Zhang and Yonghui Wu},
journal= {arXiv preprint arXiv:2110.06800},
year = {2022}
}
备注
AAAI 2022