NLP-IIS@UT 在 SemEval-2021 任务 4 中的提交：使用长文档 Transformer 的机器阅读理解
计算与语言
2021-05-11 v1 信息检索
信息论
机器学习
math.IT
摘要
本文介绍了我们提交给 SemEval-2021 第 4 个任务（题为：抽象含义的阅读理解）的技术报告。在该任务中，我们希望在给定上下文的情况下基于问题预测正确答案。通常，上下文非常冗长，需要模型具有较大的感受野。因此，像 BERT 这样的常见上下文语言模型由于输入 token 容量有限而缺乏精细的表示和性能。为解决这个问题，我们使用 Longformer 模型来更好地处理序列。此外，我们利用了 Longformer 在 Wikihop 数据集上的基准测试中所提出的方法，将任务数据上的准确率从子任务 1 和 2 的基线分别达到的 23.01% 和 22.95% 提高到 70.30% 和 64.38%。
引用
@article{arxiv.2105.03775,
title = {NLP-IIS@UT at SemEval-2021 Task 4: Machine Reading Comprehension using the Long Document Transformer},
author = {Hossein Basafa and Sajad Movahedi and Ali Ebrahimi and Azadeh Shakery and Heshaam Faili},
journal= {arXiv preprint arXiv:2105.03775},
year = {2021}
}
备注
6 pages, 1 figure. Accepted in SemEval2021