TCM-FTP：用于草方处方预测的大语言模型精调方法
计算与语言
2024-12-13 v2 人工智能
计算工程、金融与科学
摘要
中医药（TCM）已数千年来依赖特定的草药组合方剂来治疗各种症状和体征。草方处方的预测构成了一个具有重要实际意义的有趣技术挑战。然而，该任务因高质量临床数据稀缺以及症状与草药之间复杂关系而面临局限。为此，我们提出了 \textit{DigestDS}，一个由来自消化系统疾病经验丰富专家的实际医疗记录组成的新型数据集。我们还提出了一种方法，TCM-FTP（TCM Fine-Tuning Pre-trained），通过在 \textit{DigestDS} 上进行监督式精调来利用预训练的大语言模型（LLM）。此外，我们采用低秩适应技术来提升计算效率。更进一步，TCM-FTP 融合了通过置换方剂中草药的顺序进行的数据增强，利用其顺序不可感知的特性。令人印象深刻的是，TCM-FTP 实现了 0.8031 的 F1 分数，显著优于先前方法。此外，它在剂量预测方面表现出卓越的准确性，归一化均方误差为 0.0604。相比之下，未进行精调的 LLM 表现不佳。尽管 LLM 已展示出广泛的能力，但我们的工作强调了在草方处方预测中进行精调的必要性，并为实现此目标提供了有效方法。
引用
@article{arxiv.2407.10510,
title = {TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction},
author = {Xingzhi Zhou and Xin Dong and Chunhao Li and Yuning Bai and Yulong Xu and Ka Chun Cheung and Simon See and Xinpeng Song and Runshun Zhang and Xuezhong Zhou and Nevin L. Zhang},
journal= {arXiv preprint arXiv:2407.10510},
year = {2024}
}
备注
Camera-ready version to be published in BIBM 2024