一种无需特定语言训练数据的深度自然语言推理预测器
计算与语言
2023-09-07 v1 人工智能
摘要
在本文中，我们提出了一种自然语言处理（NLP）技术，用于解决目标语言中句子对之间的推理关系（NLI）问题，而无需特定语言的训练数据集。我们利用一个人工翻译的通用翻译数据集，以及同一个预训练模型的两个实例——第一个用于生成源语言的句子嵌入，第二个在目标语言上微调以模仿第一个。该技术被称为知识蒸馏（Knowledge Distillation）。该模型在机器翻译的 Stanford NLI 测试数据集、机器翻译的 Multi-Genre NLI 测试数据集以及人工翻译的 RTE3-ITA 测试数据集上进行了评估。我们还在不同任务上测试了所提出的架构，以经验性地证明 NLI 任务的通用性。该模型在原生意大利语 ABSITA 数据集上进行了评估，任务包括情感分析、基于方面的情感分析和主题识别。我们强调了知识蒸馏技术的通用性和可利用性，其性能优于基于机器翻译的其他方法，尽管前者并未在其测试数据上直接训练。
引用
@article{arxiv.2309.02887,
title = {A deep Natural Language Inference predictor without language-specific training data},
author = {Lorenzo Corradi and Alessandro Manenti and Francesca Del Bonifro and Francesco Setti and Dario Del Sorbo},
journal= {arXiv preprint arXiv:2309.02887},
year = {2023}
}
备注
Conference: ICIAP2023