PICO 跨度标注中一致性的研究

在循证医学中，医学文献的相关性由预定义的相关条件决定。这些条件基于 PICO 要素定义，即患者（Patient）、干预（Intervention）、对照（Comparator）和结果（Outcome）。因此，医学文献中的 PICO 标注对于自动相关文档过滤至关重要。然而，为 PICO 要素定义文本跨度的边界并不简单。在本文中，我们研究了多名人类标注者（包括专家和非专家）所做的 PICO 标注的一致性。一致性通过标准跨度一致性（即同时匹配标签和文本跨度边界）和两类松弛跨度一致性（即匹配标签但不保证跨度边界匹配）来估计。基于分析，我们报告了两个观察结果：（i）单个人类标注者的 PICO 跨度标注边界非常多样。（ii）尽管跨度边界存在分歧，标注者之间对跨度标注的大致区域有广泛共识。我们的结果表明，仅应用标准一致性可能会低估 PICO 跨度的一致性，采用标准与松弛一致性两者更适用于 PICO 跨度评估。