基于大语言模型的结构化化学推理
计算与语言
2024-02-12 v2 人工智能
摘要
大语言模型（LLMs）在多个领域表现出色，却在复杂科学推理（尤其是化学领域）中举步维艰。与先前研究解决的简单化学任务（如分子分类）不同，复杂化学问题不仅需要广博知识与精确计算，还需关于不同概念（如温度变化）丰富动态交互的组合推理。我们的研究表明，即便如 GPT-4 之类的先进 LLM 也可能以不同方式轻易失败。有趣的是，这些错误往往并非源于 LLM 缺乏领域知识，而是由于缺乏有效的推理结构来引导 LLM 引出正确知识、将其纳入逐步推理，并迭代优化结果以提升质量。在此基础上，我们引入 StructChem——一种简单而有效的提示策略，提供所需引导并大幅增强 LLM 的化学推理能力。在量子化学、力学、物理化学与动力学四个化学领域的测试中，StructChem 显著提升了 GPT-4 的性能，峰值提升达 30\%。我们的分析也强调了利用 LLM 进行科学中精确接地推理的独特困难，指出该领域亟需更多研究。代码见 \url{https://github.com/ozyyshr/StructChem}。
引用
@article{arxiv.2311.09656,
title = {Structured Chemistry Reasoning with Large Language Models},
author = {Siru Ouyang and Zhuosheng Zhang and Bing Yan and Xuan Liu and Yejin Choi and Jiawei Han and Lianhui Qin},
journal= {arXiv preprint arXiv:2311.09656},
year = {2024}
}
备注
Work in progress