SPARTA：基于稀疏 Transformer 匹配检索的高效开放域问答方法
计算与语言
2020-09-29 v1 机器学习
摘要
我们提出 SPARTA，一种新颖的神经检索方法，在开放域问答的性能、泛化能力和可解释性方面展现出巨大潜力。与许多使用稠密向量最近邻搜索的神经排序方法不同，SPARTA 学习一种可高效实现为倒排索引的稀疏表示。所得表示支持可扩展的神经检索，无需昂贵的近似向量搜索，并且比其稠密对应方法具有更好的性能。我们在 4 个开放域问答（OpenQA）任务和 11 个检索问答（ReQA）任务上验证了我们的方法。SPARTA 在多种开放域问答任务上取得了新的 SOTA 结果，涵盖英语和中文数据集，包括 open SQuAD、Natural Question、CMRC 等。分析还证实，所提方法创建了人类可解释的表示，并允许在性能与效率之间灵活权衡。
引用
@article{arxiv.2009.13013,
title = {SPARTA: Efficient Open-Domain Question Answering via Sparse Transformer Matching Retrieval},
author = {Tiancheng Zhao and Xiaopeng Lu and Kyusong Lee},
journal= {arXiv preprint arXiv:2009.13013},
year = {2020}
}
备注
11 pages