面向 EHRSQL 可判定不可答问题的无偏评估

将不可答问题纳入 EHR QA 系统对于测试系统可信度至关重要，因为提供不存在的响应可能会误导医生进行诊断。EHRSQL 数据集因唯一将不可答问题与实际问题并置于 EHR QA 系统中而具有重要基准意义。然而，本研究识别到这些不可答问题存在数据偏差——它们可通过特定 N-gram 模式进行筛选。这种偏差危及了 QA 系统评估的真实性和可靠性。为解决此问题，我们提出了一种简单的数据去偏方法，通过调整验证和测试集之间的划分来中和 N-gram 过滤的不当影响。在 MIMIC-III 数据集上进行实验，我们既展示了 EHRSQL 中的现有数据偏差，也证明了我们数据划分策略在缓解此偏差方面的有效性。