从盲目猜测到有依据的判断：通过构建知识增强的偏好信号训练大语言模型进行材料评估
计算与语言
2026-05-29 v1
摘要
随着候选生成和高通量实验的推进，材料发现的主要瓶颈正从属性预测转向对大量候选集合进行可靠评估。我们提出了一种知识增强偏好信号框架MaterEval，自动为同一候选生成两个评估：一种遵循专家规则并提供支持证据的有依据判断，另一种无规则的盲目猜测。通过将两个评估配对作为偏好数据，我们引导通用大语言模型（LLM）从直觉判断逐步导向由明确证据支持的可靠评估。为平衡吞吐量、成本和可靠性，我们进一步引入了快速-慢速推理方案，将大规模快速筛选与对小部分集中深入审查解耦。以高熵合金（HEA）评估为案例研究，我们展示，在无外部检索仅依赖内在能力的情况下，小型开源LLM在准确性、结论一致性和证据辨别方面实现显著提升，接近基于规则的闭源LLM性能。这些结果表明，专家规则可以系统性地转化为可学习的偏好信号，使自主材料发现循环实现低成本和可部署的评估模块。
引用
@article{arxiv.2605.29555,
title = {From Blind Guess to Informed Judgment: Teaching LLMs to Evaluate Materials by Building Knowledge-Augmented Preference Signals},
author = {Yeyong Yu and Wenya Hu and Xing Wu and Quan Qian},
journal= {arXiv preprint arXiv:2605.29555},
year = {2026}
}
备注
33 pages, 5 figures