CO3：用于生成式会话查询重写的低资源对比协同训练
计算与语言
2024-03-19 v1
摘要
生成式查询重写利用会话历史生成重构的查询重写，但严重依赖于获取成本高昂的标准重写对。最近，少样本学习在该任务中越来越受欢迎，然而由于数据规模有限，这些方法对固有噪声很敏感。此外，当训练和测试用例之间存在语言风格转变时，这两种尝试都面临性能下降的问题。为此，我们研究对噪声和语言风格转变均具有鲁棒性的低资源生成式会话查询重写。核心思想是利用大量未标记数据，通过对比协同训练范式进行进一步改进。具体而言，我们协同训练两个对偶模型（即重写器和简化器），使得它们各自通过伪标记以迭代方式提供额外指导以增强对方。我们还利用带有数据增强的对比学习，使我们的模型比噪声更加关注真正有价值的信息。大量实验证明了我们的模型在少样本和零样本场景下的优越性。我们还验证了当遇到语言风格转变时，我们的模型具有更好的泛化能力。
引用
@article{arxiv.2403.11873,
title = {CO3: Low-resource Contrastive Co-training for Generative Conversational Query Rewrite},
author = {Yifei Yuan and Chen Shi and Runze Wang and Liyi Chen and Renjun Hu and Zengming Zhang and Feijun Jiang and Wai Lam},
journal= {arXiv preprint arXiv:2403.11873},
year = {2024}
}
备注
Accepted to COLING 2024