日语文本蕴含与相似度的组合性评价
计算与语言
2022-08-10 v1
摘要
自然语言推理（NLI）与语义文本相似度（STS）是广泛用于预训练语言模型组合性评价的基准任务。尽管对语言普遍性的兴趣日益增长，大多数NLI/STS研究几乎仅聚焦于英语。特别是，目前尚无可用的日语多语言NLI/STS数据集，而日语在类型上与英语不同，并可以阐明语言模型在当前颇具争议的行为，例如对词序和格助词的敏感性。在此背景下，我们引入JSICK，一个从英语数据集SICK人工翻译而来的日语NLI/STS数据集。我们还提出了一个用于组合推理的压力测试数据集，通过对JSICK中句子的句法结构进行变换来考察语言模型是否对词序和格助词敏感。我们在不同预训练语言模型上进行了基线实验，并比较了多语言模型应用于日语与其他语言时的表现。压力测试实验的结果表明，当前的预训练语言模型对词序和格标记不敏感。
引用
@article{arxiv.2208.04826,
title = {Compositional Evaluation on Japanese Textual Entailment and Similarity},
author = {Hitomi Yanaka and Koji Mineshima},
journal= {arXiv preprint arXiv:2208.04826},
year = {2022}
}
备注
This paper is accepted by Transactions of the Association for Computational Linguistics (TACL)