CU-ICU：通过文本到文本迁移转换器为ICU数据集定制无监督指令微调语言模型
计算与语言
2025-07-21 v1
摘要
将大型语言模型整合到医疗保健等专业领域面临着独特的挑战，包括领域适应和有限的标注数据。我们引入了CU-ICU，这是一种通过利用文本到文本迁移转换器（T5）架构，为ICU数据集定制无监督指令微调语言模型的方法。CU-ICU采用了一种稀疏微调方法，结合了少样本提示和选择性参数更新，从而能够在极少监督下实现高效适应。我们在关键的ICU任务（早期脓毒症检测、死亡率预测和临床笔记生成）上的评估表明，与标准微调方法相比，CU-ICU持续提高了预测准确性和可解释性。值得注意的是，在其最高效的配置中，CU-ICU仅更新了不到1%的模型参数，却实现了脓毒症检测准确率高达15%的提升，以及生成临床相关解释能力20%的提升。这些结果确立了CU-ICU作为一种可扩展、低开销的解决方案，能够在真实的ICU环境中提供准确且可解释的临床决策支持。
引用
@article{arxiv.2507.13655,
title = {CU-ICU: Customizing Unsupervised Instruction-Finetuned Language Models for ICU Datasets via Text-to-Text Transfer Transformer},
author = {Teerapong Panboonyuen},
journal= {arXiv preprint arXiv:2507.13655},
year = {2025}
}
备注
12 pages