量化相似性：评估 ChatGPT 和 Google Bard 内容与生物医学文献关系的文本挖掘方法
计算与语言
2024-02-13 v2 数字图书馆
信息检索
摘要
背景：由大型语言模型（LLM）赋能的生成式 AI 工具的出现，在生成内容方面展现出强大的能力。迄今为止，评估这种通过所谓提示工程生成的内容的实用性，已成为一个有趣的研究问题。目的：利用提示工程手段，我们评估此类内容与科学家产生的真实文献的相似性和接近程度。方法：在这项探索性分析中，（1）我们通过提示工程让 ChatGPT 和 Google Bard 生成临床内容，以与文献对应内容进行比较；（2）我们通过将生成的内容与生物医学文献中的对应内容进行比较，评估其相似性。我们的方法是使用文本挖掘方法来比较文档及其关联的二元词组，并使用网络分析来评估术语的中心性。结果：实验表明，ChatGPT 在余弦文档相似度（38% 对 34%）、Jaccard 文档相似度（23% 对 19%）、TF-IDF 双词相似度（47% 对 41%）以及术语网络中心性（度和接近中心性）方面均优于 Google Bard。我们还发现，在 ChatGPT 的双词组网络中出现了文献双词组网络中不存在的新链接。结论：获得的相似性结果表明，ChatGPT 在文档相似度、双词组以及度和接近中心性方面均优于 Google Bard。我们还观察到，ChatGPT 提供了与文献中相互关联的术语之间的链接。此类连接可能激发提出有趣的问题并产生新的假设。
引用
@article{arxiv.2402.05116,
title = {Quantifying Similarity: Text-Mining Approaches to Evaluate ChatGPT and Google Bard Content in Relation to BioMedical Literature},
author = {Jakub Klimczak and Ahmed Abdeen Hamed},
journal= {arXiv preprint arXiv:2402.05116},
year = {2024}
}
备注
15 pages, 10 figures, 4 tables; and 1 algorithm