探究 ChatGPT 对中医知识的理解能力
计算与语言
2024-03-15 v1 应用统计
摘要
此前没有工作研究过大语言模型（LLM）在中医学（TCM）背景下的表现，而中医学是医学知识中一个不可或缺且独特的分支，历史悠久。为了填补这一空白，我们提出了一个名为 TCM-QA 的中医问题数据集，包含三种题型：单选、多选和判断题，以检验 LLM 在中医领域内的知识回忆和综合推理能力。在我们的研究中，我们评估了 LLM 的两种设置，即零样本和少样本设置，同时讨论了英文和中文提示之间的差异。结果表明，ChatGPT 在判断题上表现最好，最高准确率达到 0.688，而在多选题中得分最低，准确率为 0.241。此外，我们观察到在评估中中文提示优于英文提示。另外，我们评估了 ChatGPT 生成的解释的质量及其对中医知识理解的潜在贡献。本文为 LLM 在专业领域的适用性提供了有价值的见解，并为利用这些强大模型推进中医的未来研究铺平了道路。
引用
@article{arxiv.2403.09164,
title = {Exploring the Comprehension of ChatGPT in Traditional Chinese Medicine Knowledge},
author = {Li Yizhen and Huang Shaohan and Qi Jiaxing and Quan Lei and Han Dongran and Luan Zhongzhi},
journal= {arXiv preprint arXiv:2403.09164},
year = {2024}
}