用于临床特征嵌入的语言模型训练范式
机器学习
2024-02-07 v2 计算与语言
摘要
在数据稀缺的研究领域，表示学习发挥着重要作用。本研究旨在通过为心率、血压等临床特征导出通用嵌入，来增强临床时间序列的表示学习。我们使用语言模型的自监督训练范式来学习高质量的临床特征嵌入，实现了比现有时间步和患者级表示学习更细的粒度。我们通过无监督降维技术将学习到的嵌入可视化，并观察到其与先前的临床知识具有高度一致性。我们还在 MIMIC-III 基准上评估了模型性能，并证明了使用临床特征嵌入的有效性。我们在网上发布了代码以供复现。
引用
@article{arxiv.2311.00768,
title = {Language Model Training Paradigms for Clinical Feature Embeddings},
author = {Yurong Hu and Manuel Burger and Gunnar Rätsch and Rita Kuznetsova},
journal= {arXiv preprint arXiv:2311.00768},
year = {2024}
}
备注
Poster at "NeurIPS 2023 Workshop: Self-Supervised Learning - Theory and Practice"