什么使医学声明（不）可验证？分析实体和关系属性以进行事实验证

如果无法发现证据，生物医学声明验证就会失败。在这些情况下，事实核查的裁决结果仍然未知，该声明是不可验证的。为了改进这一点，我们必须了解是否存在任何影响其可验证性的声明属性。在这项工作中，我们假设实体和关系定义了生物医学声明结构中的核心变量，并分析它们的属性是否有助于我们区分可验证和不可验证的声明。在一项由训练有素的标注专家参与的研究中，我们提示他们为生物医学声明寻找证据，并观察他们如何为证据搜索优化搜索查询。这产生了第一个为科学事实验证标注了主-谓-宾三元组、证据文档和事实核查裁决的语料库（BEAR-Fact 语料库）。我们发现：(1) 为否定声明（例如，X-不-导致-Y）发现证据尤其具有挑战性。此外，我们看到标注者处理查询主要通过向搜索添加约束以及将实体规范化为标准名称。(2) 我们将内部标注与一个小型众包设置（聘请医学专家和非专业人士）进行了比较。我们发现领域专业知识对标注的可靠性没有实质性影响。最后，(3) 我们证明，纯粹从声明文本可靠地估计证据检索的成功率是可能的（F1 值约为 0.82），而识别不可验证的声明则更具挑战性（F1 值约为 0.27）。该数据集可在 http://www.ims.uni-stuttgart.de/data/bioclaim 获取。