基于贝叶斯优化检索和基于Transformer的重排序实现医学信息学中的可扩展单位和谐化

目标：开发和评估一种可扩展的方法，用于 harmonize 临床数据集中不一致单位的问题，作为数据互操作性的关键障碍。材料与方法：我们设计了一种新的单位和谐化系统，将BM25、句子嵌入、贝叶斯优化和基于双向Transformer的二进制分类器组合，用于检索和匹配实验室检测条目。该系统使用Optum Clinformatics Datamart数据集（75亿条记录）进行评估。我们实现了一个多阶段管道：过滤、识别、和谐化提议生成、自动重排序和手动验证。性能使用平均倒数排名（MRR）和其他标准信息检索指标进行评估。结果：我们的混合检索方法结合了BM25和句子嵌入（MRR: 0.8833）显著优于仅基于词汇的（MRR: 0.7985）和仅基于嵌入的（MRR: 0.5277）方法。基于Transformer的重排序器进一步提高了性能（绝对MRR提升: 0.10），最终系统MRR达到0.9833。该系统在第1位的精确率达到83.39%，在第5位的召回率达到94.66%。讨论：混合体系结构有效地利用了词汇和语义方法的互补优势。重排序器解决了初始检索组件由于医学术语中复杂语义关系而可能出错的情况。结论：我们的框架为临床数据集中的单位和谐化提供了高效、可扩展的解决方案，在提高准确性的同时减少了手动工作量。一旦和谐化，数据可以在不同的分析中无缝重用，确保跨医疗保健系统的一致性，使更可靠的跨机构研究和.meta分析成为可能。