JCSE：日语句子嵌入的对比学习及其应用
计算与语言
2023-01-20 v1
摘要
对比学习被广泛用于句子表示学习。尽管应用广泛，大多数研究仅关注英语，且很少涉及面向特定领域下游任务的领域自适应，尤其是对于日语等低资源语言，其特征是目标领域数据不足且缺乏恰当的训练策略。为克服此问题，我们提出了一种新颖的日语句子表示框架 JCSE（源于“Contrastive learning of Sentence Embeddings for Japanese”），该框架通过生成句子并将其与目标领域中可用句子合成来创建训练数据。具体而言，一个预训练的数据生成器使用我们收集的语料微调至目标领域，然后用于生成矛盾句对，这些句对用于对比学习以将日语语言模型自适应到目标领域的特定任务。日语句子表示学习的另一个难点是由于缺乏基准数据集而难以评估现有嵌入方法。为此，我们建立了一个全面的日语语义文本相似度（STS）基准，并在其上评估了多种嵌入模型。基于该基准结果，选取多种嵌入方法并在两个特定领域任务（临床领域 STS 与教育领域信息检索）上与 JCSE 进行比较。结果表明，JCSE 取得了显著的性能提升，超越了直接迁移与其他训练策略。这从经验上证明了 JCSE 对于低资源语言下游任务的有效性与实用性。
引用
@article{arxiv.2301.08193,
title = {JCSE: Contrastive Learning of Japanese Sentence Embeddings and Its Applications},
author = {Zihao Chen and Hisashi Handa and Kimiaki Shirahama},
journal= {arXiv preprint arXiv:2301.08193},
year = {2023}
}