症状检查器中罕见疾病诊断性能评估：合成情景模拟方法
计算与语言
2025-07-01 v4
摘要
症状检查器(SC)提供针对用户症状量身化的医疗信息。SC开发中的关键挑战是防止在更新算法后对个别疾病（尤其是罕见疾病）出现意外的性能下降。这一风险源于缺乏实际的部署前评估方法。对于罕见疾病，获取足够的用户反馈评估数据困难。为在部署前评估算法更新对个别罕见疾病诊断性能的影响，本研究提出并验证了一种新颖的合成情景模拟方法。该方法旨在以高效且低成本的方式实现这一必需的评估。为估计算法更新的影响，我们从罕见疾病的人体表型注释中生成合成情景，这些情景来自面粉素疾病本体(Human Phenotype Ontology, HPO)，该本体由专家精选并公开提供。使用这些情景，我们模拟SC访谈以预测诊断性能的变化。通过将预测变化与实际绩效指标进行比较（使用R平方(R²)系数），验证了该方法的有效性。我们的实验覆盖了八次过去的算法更新，其中针对HPO中具有表型频率信息的疾病(n=5)的更新显示出强相关性，召回率变化(R²=0.83,p=0.031)和精确率变化(R²=0.78,p=0.047)。我们的方法使SC开发者能够在基于专家创建的公开医学知识数据库的前提下，对个别罕见疾病的SC算法变更进行部署前评估。
引用
@article{arxiv.2506.19750,
title = {Evaluating Rare Disease Diagnostic Performance in Symptom Checkers: A Synthetic Vignette Simulation Approach},
author = {Takashi Nishibayashi and Seiji Kanazawa and Kumpei Yamada},
journal= {arXiv preprint arXiv:2506.19750},
year = {2025}
}