LMVE 在 SemEval-2020 任务 4 中的工作：基于预训练语言模型的常识验证与解释
计算与语言
2020-07-07 v1 人工智能
摘要
本文描述了我们向 SemEval-2020 任务 4 子任务 a 和 b 的提交。对于子任务 a，我们使用基于 ALBERT 的模型并改进输入形式，从两个陈述候选中挑出符合常识的陈述。对于子任务 b，我们使用由提示句机制增强的多选模型，从给定选项中选择某陈述违背常识的原因。此外，我们提出了一种子任务间的新型迁移学习策略以提升性能。我们的系统在官方测试集上的准确率分别为 95.6 / 94.9，在事后评估排行榜上排名 7 / 2。
引用
@article{arxiv.2007.02540,
title = {LMVE at SemEval-2020 Task 4: Commonsense Validation and Explanation using Pretraining Language Model},
author = {Shilei Liu and Yu Guo and Bochao Li and Feiliang Ren},
journal= {arXiv preprint arXiv:2007.02540},
year = {2020}
}
备注
Accepted in SemEval2020. 7 pages, 4 figures