FAT ALBERT: 基于BERT的语义相似度注意力层在大型文本中查找答案
计算与语言
2020-09-03 v1 机器学习
机器学习
摘要
基于机器的文本理解一直是自然语言处理中的重要研究领域。一旦实现对文本上下文和语义的完全理解,就可以训练深度学习模型来解决大量任务子集,例如文本摘要、分类和问答。在本文中,我们关注问答问题,特别是多选题类型的问题。我们开发了一个基于BERT(一种最先进的transformer网络)的模型。此外,我们通过语义相似度模型提取影响力最大的句子,从而缓解BERT支持大型文本语料的能力限制。对我们所提出模型的评估表明,它在MovieQA挑战中优于领先的模型,我们目前以87.79%的测试准确率在排行榜上排名第一。最后,我们讨论了模型的不足并提出了克服这些限制的可能改进。
引用
@article{arxiv.2009.01004,
title = {FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT},
author = {Omar Mossad and Amgad Ahmed and Anandharaju Raju and Hari Karthikeyan and Zayed Ahmed},
journal= {arXiv preprint arXiv:2009.01004},
year = {2020}
}
备注
source code available: https://github.com/omossad/fat-albert