面向临床文本分类的 GPT 架构选择性微调
计算与语言
2026-03-17 v1
摘要
电子健康记录 (EHR) 系统的快速扩张产生了大量非结构化临床叙述文本，这些文本包含用于疾病识别、患者队列发现及临床决策支持的宝贵信息。从这些自由文本文档中提取结构化知识 remains 挑战性，因为临床语言高度专业化、标记数据集有限，且对大型预训练语言模型进行完整微调可能需要大量计算资源。因此，对实际临床自然语言处理应用至关重要的是高效适应策略。本研究提出一种针对 GPT-2 的参数高效选择性微调框架，用于临床文本分类任务。我们不更新整个预训练模型，而是冻结大部分网络参数，仅更新最终的 Transformer 块、最终层归一化模块以及轻量级分类头。在训练期间进行此设计可显著减少可训练参数数量，同时保留在预训练期间学习的上下文表示能力。该方法使用来自 MIMIC-IV-Note 数据集的放射科报告评估，数据集包含自动派生的 CheXpert 风格标签。在 50,000 份放射科报告上的实验表明，选择性微调在保持约 91% 分类准确率的同时，仅更新不足 6% 的模型参数。与仅训练分类头和完整模型微调的比较实验表明，所提方法在预测性能和计算效率之间提供了有利的平衡。这些结果表明，选择性微调为临床文本分类提供了一种高效可扩展的框架。
引用
@article{arxiv.2603.14183,
title = {Selective Fine-Tuning of GPT Architectures for Parameter-Efficient Clinical Text Classification},
author = {Fariba Afrin Irany and Sampson Akwafuo},
journal= {arXiv preprint arXiv:2603.14183},
year = {2026}
}