利用 ICU-BERT 改进复杂重症监护数据的表示学习
机器学习
2025-02-28 v1 人工智能
摘要
真实临床数据（如重症监护病房 ICU 生成的数据）的多变量和异步特性，对传统的基于 AI 的决策支持系统构成了挑战。这些系统通常假设数据规律性和特征独立性，并经常依赖有限的数据范围和人工特征工程。生成式 AI 技术的潜力尚未被充分应用于分析临床数据。我们提出了 ICU-BERT，一种基于 Transformer 的模型，使用多任务方案在 MIMIC-IV 数据库上进行预训练，以学习复杂 ICU 数据的鲁棒表示，且只需最少的预处理。ICU-BERT 采用多标记输入策略，结合生物医学大语言模型的密集嵌入来学习复杂且多变量 ICU 数据的泛化表示。通过对五项任务和四个额外 ICU 数据集的初步评估，ICU-BERT 的结果表明，通过微调，ICU-BERT 要么达到要么超越了当前性能基准。通过整合结构化数据和非结构化数据，ICU-BERT 推动了基础模型在医学信息学中的应用，为多样化的临床决策支持提供了可适应的解决方案。
引用
@article{arxiv.2502.19593,
title = {Improving Representation Learning of Complex Critical Care Data with ICU-BERT},
author = {Ricardo Santos and André V. Carreiro and Xi Peng and Hugo Gamboa and Holger Fröhlich},
journal= {arXiv preprint arXiv:2502.19593},
year = {2025}
}
备注
Accepted for poster at GenAI4Health Workshop at AAAI 2025