IITK的ReCAM系统在SemEval-2021任务4：基于BERT与ALBERT集成的抽象词预测
计算与语言
2021-04-06 v1 人工智能
机器学习
摘要
本文描述了我们用于SemEval-2021任务4：抽象意义阅读理解（ReCAM）的系统。我们参与了所有子任务，其主要目标是从语句中预测缺失的抽象词。我们对预训练的掩码语言模型BERT和ALBERT进行了微调，并将它们的集成作为我们在子任务1（ReCAM-Imperceptibility）和子任务2（ReCAM-Nonspecificity）中提交的系统。对于子任务3（ReCAM-Intersection），我们提交了ALBERT模型，因其取得了最佳结果。我们尝试了多种方法，发现基于掩码语言建模（MLM）的方法效果最好。
引用
@article{arxiv.2104.01563,
title = {ReCAM@IITK at SemEval-2021 Task 4: BERT and ALBERT based Ensemble for Abstract Word Prediction},
author = {Abhishek Mittal and Ashutosh Modi},
journal= {arXiv preprint arXiv:2104.01563},
year = {2021}
}
备注
Accepted at SemEval 2021 Task 4, 8 Pages (7 Pages main content + 1 pages for references)