使用GPT-4-Turbo构建的网状化学单跳与多跳问答数据集
计算与语言
2024-05-06 v1 材料科学
摘要
人工智能和自然语言处理的快速发展催生了旨在评估机器学习模型性能的大规模数据集。在此，我们介绍'RetChemQA'，这是一个全面的基准数据集，旨在评估此类模型在网状化学领域的能力。该数据集包含单跳和多跳问答对，每种类型约45,000个问答对。这些问题提取自包含约2,530篇研究论文的广泛文献语料库，这些论文来自NAS、ACS、RSC、Elsevier和Nature Publishing Group等出版商。该数据集使用OpenAI的GPT-4 Turbo生成，这是一个以其卓越的语言理解和生成能力而闻名的前沿模型。除了问答数据集，我们还发布了从本研究所用文献语料库中提取的合成条件数据集。RetChemQA的目标是为高级机器学习算法的开发和评估提供一个稳健的平台，特别是为网状化学社区。该数据集的结构反映了真实世界科学论述的复杂性和细微差别，从而能够在各种任务中进行细致的性能评估。该数据集可在以下链接获取：https://github.com/nakulrampal/RetChemQA
引用
@article{arxiv.2405.02128,
title = {Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo},
author = {Nakul Rampal and Kaiyu Wang and Matthew Burigana and Lingxiang Hou and Juri Al-Johani and Anna Sackmann and Hanan S. Murayshid and Walaa Abdullah Al-Sumari and Arwa M. Al-Abdulkarim and Nahla Eid Al-Hazmi and Majed O. Al-Awad and Christian Borgs and Jennifer T. Chayes and Omar M. Yaghi},
journal= {arXiv preprint arXiv:2405.02128},
year = {2024}
}