分治与合并：面向零样本对话状态追踪的语义无关专家混合方法
计算与语言
2023-06-02 v1
摘要
对话状态追踪(DST)的零样本迁移学习有助于处理多种任务型对话领域，而无需收集领域内数据的成本。现有工作主要研究常见的数据级或模型级增强方法以提升泛化能力，但未能有效解耦样本语义，限制了DST的零样本性能。本文提出一种简单有效的“分治与合并”方案，显式解耦已见数据的语义，并利用专家混合机制提升性能与鲁棒性。具体而言，我们将已见数据划分为语义独立的子集并训练相应专家，新出现的未见样本通过我们设计的集成推理映射并由专家混合进行推断。基于T5-Adapter在MultiWOZ2.1上的大量实验表明，我们的方案显著且持续地改善了零样本性能，在无外部知识的设定下达到SOTA，且仅需10M可训练参数。
引用
@article{arxiv.2306.00434,
title = {Divide, Conquer, and Combine: Mixture of Semantic-Independent Experts for Zero-Shot Dialogue State Tracking},
author = {Qingyue Wang and Liang Ding and Yanan Cao and Yibing Zhan and Zheng Lin and Shi Wang and Dacheng Tao and Li Guo},
journal= {arXiv preprint arXiv:2306.00434},
year = {2023}
}
备注
Accepted to ACL 2023