生成式AI事实核查：用于疾病-基因关联验证的本体驱动生物图
人工智能
2024-04-09 v4 计算与语言
摘要
自各类生成式AI工具推出以来，科学家一直努力评估其能力与内容，以期建立对其生成能力的信任。为验证生成内容并识别新用途，相关法规与指南正在涌现。我们旨在展示如何利用网络模型的严谨性对ChatGPT的主张进行计算核查。我们的目标是对从ChatGPT内容在聚合层面构建的生物图中嵌入的知识实现事实核查。我们采用生物网络方法，得以系统质询ChatGPT关联实体。我们设计了一种本体驱动的事实核查算法，将约200,000篇PubMed摘要构建的生物图与使用ChatGPT-3.5 Turbo模型生成的数据集构建的对应图进行比较。在250条随机选取记录的10个样本中（ChatGPT数据集含1000篇“模拟”文章），事实核查链接准确率为70%至86%。本研究证明了ChatGPT生成文本中聚合层面疾病-基因链接关系的高准确性。
引用
@article{arxiv.2308.03929,
title = {Fact-Checking Generative AI: Ontology-Driven Biological Graphs for Disease-Gene Link Verification},
author = {Ahmed Abdeen Hamed and Byung Suk Lee and Alessandro Crimi and Magdalena M. Misiak},
journal= {arXiv preprint arXiv:2308.03929},
year = {2024}
}
备注
Accepted in the 24th International Conference on Computational Science (ICCS'24), in April 1st 2024. Will appear in the Springer LNCS proceeding as a short paper