区分 ChatGPT 生成与人工撰写的医学文本
计算与语言
2024-01-01 v1 人工智能
摘要
背景：诸如 ChatGPT 之类的大语言模型能够生成语法完美且类人的文本内容，网络上已出现大量 ChatGPT 生成的文本。然而，临床记录与诊断等医学文本需要严格的验证，ChatGPT 生成的错误医学内容可能导致虚假信息，对医疗健康和公众造成显著危害。目的：本研究是医学领域负责任且符合伦理的 AIGC（人工智能生成内容，Artificial Intelligence Generated Content）的首批研究之一。我们聚焦于分析人类专家撰写的医学文本与 ChatGPT 生成的医学文本之间的差异，并设计机器学习工作流以有效检测并区分 ChatGPT 生成的医学文本。方法：我们首先构建了一套包含人类专家撰写与 ChatGPT 生成的医学文本的数据集。接下来，我们分析这两类内容的语言特征，揭示其在词汇、词性、依存关系、情感、困惑度等方面的差异。最后，我们设计并实现了用于检测 ChatGPT 生成的医学文本的机器学习方法。结果：人类撰写的医学文本更具体、更多样，且通常包含更多有用信息；而 ChatGPT 生成的医学文本更关注流畅性与逻辑性，通常表达通用术语而非针对问题语境的有效信息。基于 BERT 的模型能够有效检测 ChatGPT 生成的医学文本，其 F1 超过 95%。
引用
@article{arxiv.2304.11567,
title = {Differentiate ChatGPT-generated and Human-written Medical Texts},
author = {Wenxiong Liao and Zhengliang Liu and Haixing Dai and Shaochen Xu and Zihao Wu and Yiyang Zhang and Xiaoke Huang and Dajiang Zhu and Hongmin Cai and Tianming Liu and Xiang Li},
journal= {arXiv preprint arXiv:2304.11567},
year = {2024}
}