ChatZero: 基于伪目标语言的零样本跨语言对话生成
计算与语言
2024-08-19 v1
摘要
尽管大语言模型(LLM)展现了惊人的能力，但在各种令人兴奋的应用中，LLM在低资源语言方面表现不足。此外，大多数现有方法依赖大规模对话语料库，因此构建零样本场景下的对话生成系统仍然是一个相当大的挑战。为了解决这一挑战，我们提出了一种基于跨语言语码转换方法的新型端到端零样本对话生成模型ChatZero。首先，我们构建语码转换语言和带有占位符的伪目标语言。然后，为了实现跨语言语义迁移，我们采用无监督对比学习来最小化源语言、语码转换语言和伪目标语言在高维语义空间中的语义差距，这些语言互为正值示例。在多语言DailyDialog和DSTC7-AVSD数据集上的实验表明，ChatZero在零样本情况下可以达到原始监督学习性能的90%以上，并且与其他基线相比取得了最先进的性能。
引用
@article{arxiv.2408.08724,
title = {ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language},
author = {Yongkang Liu and Feng Shi and Daling Wang and Yifei Zhang and Hinrich Schütze},
journal= {arXiv preprint arXiv:2408.08724},
year = {2024}
}
备注
ECAI2024