基于集成 ALBERT 的 SQuAD 2.0 问答模型
计算与语言
2021-10-20 v1 人工智能
摘要
机器问答是自然语言处理中一项基础而富有挑战性的任务。近来，诸如来自变换器的双向编码器表示（BERT）与轻量版 BERT（ALBERT）等预训练上下文嵌入（PCE）模型因其在广泛 NLP 任务上的优异表现而备受关注。在本文中，我们利用微调后的 ALBERT 模型，并在其上实现额外层（如注意力层、RNN 层）的组合，以提升模型在斯坦福问答数据集（SQuAD 2.0）上的表现。我们在 ALBERT-base 模型上实现了四种带有不同上层结构的模型，以及基于 ALBERT-xlarge 和 ALBERT-xxlarge 的另外两个模型。我们将其表现与基线模型 ALBERT-base-v2 + ALBERT-SQuAD-out 进行了详细比较。我们表现最佳的单一模型为 ALBERT-xxlarge + ALBERT-SQuAD-out，其在验证集上取得了 88.435 的 F1 分数。此外，我们实现了三种不同的集成算法以提升整体表现。通过将若干表现最佳模型的结果输入我们的加权投票集成算法，我们的最终结果以 F1 = 90.123 在斯坦福 CS224N 测试 PCE SQuAD 排行榜上排名第一。
引用
@article{arxiv.2110.09665,
title = {Ensemble ALBERT on SQuAD 2.0},
author = {Shilun Li and Renee Li and Veronica Peng},
journal= {arXiv preprint arXiv:2110.09665},
year = {2021}
}