HC$^2$L：面向跨语言口语理解的混合协作对比学习
计算与语言
2024-05-13 v1 人工智能
摘要
最先进的零样本跨语言口语理解模型执行跨语言无监督对比学习，以实现每个话语与其语码转换数据之间的标签无关语义对齐。然而，它忽略了宝贵的意图/槽位标签，这些标签信息有望帮助捕获标签感知的语义结构，然后利用监督对比学习来改善源语言和目标语言的语义。在本文中，我们提出了混合协作对比学习来解决这个问题。除了跨语言无监督对比学习，我们设计了一种整体方法，利用源语言监督对比学习、跨语言监督对比学习和多语言监督对比学习，以全面的方式执行标签感知的语义对齐。每种监督对比学习机制都包括单任务和联合任务场景。在我们的模型中，一种对比学习机制的输入被其他机制增强。因此，总共四种对比学习机制在训练过程中形成良性循环，协作学习更一致、更具判别性的表示。实验表明，我们的模型在 9 种语言上获得了一致的改进，达到了新的最先进性能。
引用
@article{arxiv.2405.06204,
title = {HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding},
author = {Bowen Xing and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2405.06204},
year = {2024}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). arXiv admin note: text overlap with arXiv:2312.03716