OmniScience：用于科学推理与发现的领域专用大语言模型
人工智能
2025-04-24 v4
摘要
大型语言模型（LLM）在推动科学知识进步和解决复杂挑战方面展现出巨大潜力。本文介绍 OmniScience，一个面向通用科学的专用大推理模型，通过三个关键组件实现：（1）在精心筛选的科学文献语料库上进行领域自适应预训练；（2）基于专门数据集进行指令微调，引导模型遵循领域特定任务；（3）通过基于推理的知识蒸馏进行微调，显著提升其生成与上下文相关且逻辑严谨响应的能力。我们通过开发一个电池代理，高效对分子作为潜在电解质溶剂或添加剂的可能性进行排序。综合评估表明，OmniScience 在 GPQA Diamond 和领域特定电池基准测试中，与当前最先进的大型推理模型相当，而在参数规模相似的所有公开推理和非推理模型中均表现优异。进一步的消融实验表明，领域自适应预训练和基于推理的知识蒸馏是获得这些性能水平的关键，跨越各类基准测试。
引用
@article{arxiv.2503.17604,
title = {OmniScience: A Domain-Specialized LLM for Scientific Reasoning and Discovery},
author = {Vignesh Prabhakar and Md Amirul Islam and Adam Atanas and Yao-Ting Wang and Joah Han and Aastha Jhunjhunwala and Rucha Apte and Robert Clark and Kang Xu and Zihan Wang and Kai Liu},
journal= {arXiv preprint arXiv:2503.17604},
year = {2025}
}