SafeTerm 基于 AI 的 MedDRA 查询系统与标准化 MedDRA 查询的性能对比
计算与语言
2025-12-09 v1
摘要
在上市前药物安全审查中，将相关不良事件术语分组为 SMQ 或 OCMQ 对信号检测至关重要。我们评估了 SafeTerm 自动化医学查询 (AMQ) 在 MedDRA SMQ 上的性能。AMQ 是一种新颖的量化人工智能系统，能够理解和处理医学术语，并自动检索给定输入查询的相关 MedDRA 首选术语 (PT)，并使用多准则统计方法按相关性得分 (0-1) 进行排序。该系统 (SafeTerm) 将医学查询术语和 MedDRA PT 嵌入多维向量空间，然后应用余弦相似度和极值聚类来生成 PT 的排序列表。验证针对一级 SMQ（110 个查询，v28.1）进行。在多个相似度阈值下计算了精确率、召回率和 F1 值，阈值可手动定义或通过自动方法选择。在中等相似度阈值下实现了高召回率 (94%)，表明检索灵敏度良好。更高的阈值过滤掉更多术语，从而提高了精确率（最高达 89%）。最优阈值 (0.70) 在所有 110 个查询上实现了 48% 的召回率和 45% 的精确率。限定为窄术语 PT 在提高的相似度阈值 (+0.05) 下取得了略好的性能，确认了窄术语相较于宽术语具有更高的相关性。自动阈值 (0.66) 选择优先召回率 (0.58) 而非精确率 (0.29)。SafeTerm AMQ 在 SMQ 和净化后的 OCMQ 上取得了可比的满意性能。因此，它是自动化 MedDRA 查询生成的一种可行的补充方法，在召回率和精确率之间取得平衡。我们建议在查询构建中使用合适的 MedDRA PT 术语，并应用自动阈值方法以优化召回率。提高相似度分数允许进行更精细的窄术语选择。
引用
@article{arxiv.2512.07552,
title = {Performance of the SafeTerm AI-Based MedDRA Query System Against Standardised MedDRA Queries},
author = {Francois Vandenhende and Anna Georgiou and Michalis Georgiou and Theodoros Psaras and Ellie Karekla and Elena Hadjicosta},
journal= {arXiv preprint arXiv:2512.07552},
year = {2025}
}
备注
8 pages, 3 figures