基于多任务提示蒸馏与分解的参数高效迁移学习方法用于临床自然语言处理
计算与语言
2026-04-09 v1 人工智能
摘要
现有的基于提示的微调方法通常独立学习任务特定的提示，在规模化部署多个临床自然语言处理（NLP）系统时，导致计算和存储开销巨大。我们提出一种多任务提示蒸馏与分解框架，从 21 个多样化临床源任务中学习单个共享元提示，并以少于 0.05% 的可训练参数适配至未知目标任务。在以 LLaMA 3.1 8B、Meditron3 8B、gpt-oss 20B 三个 backbone 模型为基础，在 10 个目标数据集上评估本框架，涵盖命名实体识别、关系抽取、问答、自然语言推理和摘要生成五种临床 NLP 任务类型。实验结果表明，我们的方法在使用数百倍更少参数的情况下，以 1.5~1.7% 的优势超越 LoRA，以 6.1~6.6% 的优势超过单任务提示调谐。gpt-oss 20B 模型实现了最高的整体性能，尤其在临床推理任务上表现突出。强大的零样性能和少样性能表明共享提示表征的迁移能力更佳。
引用
@article{arxiv.2604.06650,
title = {A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP},
author = {Cheng Peng and Mengxian Lyu and Ziyi Chen and Yonghui Wu},
journal= {arXiv preprint arXiv:2604.06650},
year = {2026}
}