InferES：一个以否定型对比与对抗样本为特色的西班牙语自然语言推理语料库
计算与语言
2022-10-07 v1 人工智能
机器学习
摘要
本文提出 InferES——一个面向欧洲西班牙语自然语言推理 (NLI) 的原创语料库。我们提出、实施并分析了多种利用专业语言学家与众包工人的语料库构建策略。InferES 的目标在于提供高质量数据，同时促进对自动化系统的系统性评估。具体而言，我们聚焦于衡量并提升机器学习系统基于否定的对抗样本上的性能，及其跨分布外主题的泛化能力。我们在多种场景下于 InferES（8,055 个黄金标注样本）上训练了两个 transformer 模型。我们的最佳模型取得 72.8% 准确率，仍有很大改进空间。"仅假设"基线仅比多数类基线高 2%–5%，表明相较先前工作标注伪迹显著更少。我们发现，在 InferES 上训练的模型跨主题（分布内与分布外）泛化良好，并在基于否定的对抗样本上表现中等。
引用
@article{arxiv.2210.03068,
title = {InferES : A Natural Language Inference Corpus for Spanish Featuring Negation-Based Contrastive and Adversarial Examples},
author = {Venelin Kovatchev and Mariona Taulé},
journal= {arXiv preprint arXiv:2210.03068},
year = {2022}
}
备注
Accepted at COLING 2022