面向开放域槽填充的自监督协同训练方法
计算与语言
2023-03-27 v1 机器学习
摘要
槽填充是现代对话系统中的关键任务之一。现有文献多采用监督学习方法，需要为每个新领域标注训练数据。零样本学习和弱监督等方法已展现出替代人工标注的潜力。然而，这些学习范式在性能上显著劣于监督学习方法。为缩小此性能差距并证明开放域槽填充的可行性，我们提出一种称为SCot的自监督协同训练框架，该框架无需领域内人工标注训练样本，并分三阶段工作。第一阶段自动获取两组互补的伪标签。第二阶段利用预训练语言模型BERT的能力，使用这些伪标签集使其适应槽填充任务。第三阶段，我们引入一种自监督协同训练机制，两个模型自动选择高置信度软标签以迭代方式进一步提升彼此性能。我们的详尽评估表明，SCot在SGD和MultiWoZ数据集上分别优于SOTA模型45.57%和37.56%。此外，我们提出的SCot框架在与SOTA全监督模型比较时取得了相当的性能。
引用
@article{arxiv.2303.13801,
title = {Toward Open-domain Slot Filling via Self-supervised Co-training},
author = {Adib Mosharrof and Moghis Fereidouni and A. B. Siddique},
journal= {arXiv preprint arXiv:2303.13801},
year = {2023}
}
备注
10 pages, 6 tables, 2 figures, ACM Web Conference 2023 (WWW'23)