带可验证答案的科学问答系统
计算与语言
2024-07-17 v1
摘要
本文介绍了 VerifAI 项目，这是一个开创性的开源科学问答系统，旨在提供可被引用且自动核查、可验证的答案。该系统包含三个组件：（1）一种结合语义和词法搜索技术的情报检索系统，用于检索 PubMed 中的科学文献；（2）使用微调的生成模型（Mistral 7B）和检索到的文章生成带有来源引用的论断的检索增强生成（RAG）模块；（3）基于微调的 DeBERTa 和 XLM-RoBERTa 模型的验证引擎，用于执行自然语言推理任务，基于 SciFACT 数据集进行训练。验证引擎对生成的论断及其来源文章进行交叉检查，验证是否存在生成论断中的幻觉。通过整合情报检索和 RAG 模块，Verif.ai 在大量科学来源中生成事实性信息。同时，验证引擎严格地对该输出进行双重检查，确保其准确性和可靠性。这一双阶段过程在获取和确认事实信息方面发挥了关键作用，显著提升了信息生态系统。我们的 метод论可能显著提高科学家的生产力，同时培养对在科学领域应用生成式语言模型的信任，在该领域幻觉和误信息不可接受。
引用
@article{arxiv.2407.11485,
title = {Scientific QA System with Verifiable Answers},
author = {Adela Ljajić and Miloš Košprdić and Bojana Bašaragin and Darija Medvecki and Lorenzo Cassano and Nikola Milošević},
journal= {arXiv preprint arXiv:2407.11485},
year = {2024}
}
备注
Accepted at the 6th International Open Search Symposium 2024. arXiv admin note: substantial text overlap with arXiv:2402.18589