CMed-GPT：面向实体感知的中文医疗对话生成的提示微调
计算与语言
2023-11-27 v1 人工智能
摘要
医疗对话生成依赖自然语言生成技术实现在线医疗咨询。近来，大规模模型在自然语言处理领域的广泛采用推动了该技术的快速发展。现有医疗对话模型多基于 BERT 并在英文语料上预训练，但缺乏在中文医疗对话生成任务上表现优异的模型。为解决上述问题，本文提出 CMed-GPT，即基于中文医疗领域文本的 GPT 预训练语言模型。该模型有 base 和 large 两个版本，对应困惑度分别为 8.64 和 8.01。此外，我们以统一方式将词法和实体嵌入融入对话文本，以满足下游对话生成任务需求。通过对 CMed-GPT 应用微调与 p-tuning，我们将 PPL 从 8.44 降至 7.35。本研究不仅证实了 CMed-GPT 模型在生成中文生物医学文本方面的卓越性能，也凸显了带前缀提示的 p-tuning 优于传统微调的优势。此外，我们验证了在医疗对话生成中引入外部信息的重要性，其提升了对话生成质量。
引用
@article{arxiv.2311.14539,
title = {CMed-GPT: Prompt Tuning for Entity-Aware Chinese Medical Dialogue Generation},
author = {Zhijie Qu and Juan Li and Zerui Ma and Jianqiang Li},
journal= {arXiv preprint arXiv:2311.14539},
year = {2023}
}