结合 Transformer 上下文语言模型与神经网络用于越南语自然语言推理
计算与语言
2024-11-22 v2
摘要
自然语言推理（NLI）是自然语言处理（NLP）中的一项任务，对各种 AI 应用具有重要价值。然而，目前探索联合模型概念的越南语自然语言推理研究十分有限。因此，我们使用上下文语言模型（CLM）与神经网络的各种组合进行了实验。我们使用 CLM 创建上下文词表示，并使用神经网络进行分类。此外，我们评估了每个联合模型的优缺点，并识别了在越南语语境下的模型失效点。本实验在基准数据集（ViNLI）上的最高 F1 分数达到 82.78%。通过对各种模型的实验，CLM 的最大规模为 XLM-R（355M）。在 F1 分数方面，该组合始终表现出优于 PhoBERT（+6.58%）、mBERT（+19.08%）和 XLM-R（+0.94%）等强大预训练语言模型微调的性能。本文旨在引入一种为越南语 NLI 实现更优性能的新颖方法或模型。总体而言，我们发现 CLM 与神经网络的联合方法简单却能够实现高质量性能，这使其适合于需要高效资源利用的应用。
引用
@article{arxiv.2411.13407,
title = {Transformer-Based Contextualized Language Models Joint with Neural Networks for Natural Language Inference in Vietnamese},
author = {Dat Van-Thanh Nguyen and Tin Van Huynh and Kiet Van Nguyen and Ngan Luu-Thuy Nguyen},
journal= {arXiv preprint arXiv:2411.13407},
year = {2024}
}