基于图增强文档表示的参数高效神经问答模型
计算与语言
2021-06-03 v1
摘要
随着现代 NLP 系统计算开销的增长，构建更高效的模型变得愈发重要。我们表明，通过采用图卷积文档表示，我们可以得到一个问答系统，其性能可与 SOTA 方案相媲美，在某些情况下甚至超过后者，而可训练参数仅占其资源的不到 5%。目前，将 GCN 应用于 NLP 的一个主要问题是文档表示。在本文中，我们表明，即便使用平凡拓扑，GCN 增强的文档表示也能大幅改善 HotPotQA 中的结果。我们的模型（gQA）与当前 SOTA 相比表现优异，且几乎不需要预处理。在 Shao 等人 2020 年的工作中，作者认为图网络对于多跳 QA 的良好表现并非必要。在本文中，我们提出大型语言模型（LLM）对于良好表现也并非必要，通过展示一个朴素的 GCN 实现能与基于预训练语言模型的 SoTA 模型表现相当。
引用
@article{arxiv.2106.00851,
title = {Parameter-Efficient Neural Question Answering Models via Graph-Enriched Document Representations},
author = {Louis Castricato and Stephen Fitz and Won Young Shin},
journal= {arXiv preprint arXiv:2106.00851},
year = {2021}
}