QuaRTz:一个关于定性关系问题的开放域数据集
计算与语言
2019-09-10 v1 人工智能
摘要
我们介绍了首个用于文本定性关系推理的开放域数据集,称为 QuaRTz。QuaRTz 包含通用的定性陈述,例如“SPF 更高的防晒霜保护皮肤的时间更长。”,以及与之配对的 3864 个众包情境化问题,例如“Billy 涂的防晒霜 SPF 比 Lucy 低。谁防晒保护最好?”,外加对所比较属性的标注。与之前的数据集不同,通用知识是文本形式的,不绑定于一组固定的关系,并且测试系统在新情境中理解和应用文本定性知识的能力。我们发现最先进的结果比人类表现低了相当多(20%),向 NLP 社区提出了一个开放挑战。
引用
@article{arxiv.1909.03553,
title = {QuaRTz: An Open-Domain Dataset of Qualitative Relationship Questions},
author = {Oyvind Tafjord and Matt Gardner and Kevin Lin and Peter Clark},
journal= {arXiv preprint arXiv:1909.03553},
year = {2019}
}
备注
EMNLP'19