SimpleQuestions 几近解决：新的上界与基线方法
计算与语言
2018-04-25 v1 人工智能
摘要
SimpleQuestions 数据集是研究单关系事实类问题最常用的基准之一。本文中，我们给出新证据，表明该基准可被标准方法近乎解决。首先我们表明，数据中的歧义将该基准上的性能限制于 83.4%；常存在仅从语言信号无法消歧的多个答案。其次我们引入一个基线，尽管使用标准方法，仍确立了 78.1% 准确率的新最先进性能水平。最后，我们报告一项实证分析，表明该上界是宽松的；剩余错误中约三分之一同样无法从语言信号中消解。综上，这些结果表明 SimpleQuestions 数据集已几近解决。
引用
@article{arxiv.1804.08798,
title = {SimpleQuestions Nearly Solved: A New Upperbound and Baseline Approach},
author = {Michael Petrochuk and Luke Zettlemoyer},
journal= {arXiv preprint arXiv:1804.08798},
year = {2018}
}