BUT-FIT 在 SemEval-2020 任务 4 上的工作：多语言常识
计算与语言
2020-08-24 v2
摘要
本文描述了 BUT-FIT 团队在 SemEval 2020 任务 4——常识验证与解释（Commonsense Validation and Explanation）上的工作。我们参与了全部三个子任务。在子任务 A 和 B 中，我们的提交结果基于预训练语言表示模型（即 ALBERT）和数据增强。我们通过多语言模型和机器翻译数据集或翻译模型输入，尝试以另一种语言（捷克语）解决该任务。我们表明，借助强大的机器翻译系统，我们的系统可用于另一种语言且精度损失较小。在子任务 C 中，我们基于预训练序列到序列模型（BART）的提交结果在 BLEU 分数排名中位列第 1，然而我们表明，BLEU 与人类评估（我们的提交结果在其中排名第 4）之间的相关性较低。我们分析了评估中使用的指标，并提出了一种基于子任务 B 模型的附加分数，该分数与我们的手动排名相关性良好，以及基于相同原理的重排序方法。我们对所有子任务进行了错误与数据集分析，并给出了我们的发现。
引用
@article{arxiv.2008.07259,
title = {BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense},
author = {Josef Jon and Martin Fajčík and Martin Dočekal and Pavel Smrž},
journal= {arXiv preprint arXiv:2008.07259},
year = {2020}
}