基于专家 grounding 的自动化提示工程：用于从科学出版物中提取高熵合金晶格常数的大语言模型方法
数字图书馆
2025-12-30 v1 材料科学
摘要
大语言模型（LLM）在从出版物中提取科学数据方面显示出前景，但依赖于手动提示优化。我们提出了一种基于专家 grounding 的自动化提示优化框架，以增强 LLM 实体抽取的可靠性。以高熵合金晶格常数抽取为测试基准，针对七篇专家标注的出版物，对 Claude 3.5 Sonnet 进行了提示优化。尽管优化预算有限，召回率从 0.27 提升至 > 0.9，表明小规模的专家精选数据集可产生显著的改进。该方法被用于从 2,267 篇出版物中抽取晶格常数，获得 1,861 种成分的数据。优化后的提示有效迁移到更新的模型：Claude 4.5 Sonnet、GPT-5 和 Gemini 2.5 Flash。分析揭示了三类 LLM 错误：情境幻觉、语义误解和单位转换错误，强调建立验证协议的必要性。这些结果表明，反馈引导的提示优化是一种低成本、可迁移的可靠科学数据抽取方法，为复杂的 LLM 辅助研究任务提供了可扩展的路径。
引用
@article{arxiv.2512.22130,
title = {Expert-Grounded Automatic Prompt Engineering for Extracting Lattice Constants of High-Entropy Alloys from Scientific Publications using Large Language Models},
author = {Shunshun Liu and Talon R. Booth and Yangfeng Ji and Wesley Reinhart and Prasanna V. Balachandran},
journal= {arXiv preprint arXiv:2512.22130},
year = {2025}
}
备注
26 pages, 4 figures, Supplementary Information in the Ancillary files