与潜在特征对话——如何将你的大语言模型转化为天文学家
天体物理仪器与方法
2026-02-11 v1
摘要
最近的大型语言模型（LLM）技术为科学任务提供了独特的机会，但其对复杂数值数据进行推理的能力仍 largely 未被探索。我们提出了一种简单机制，通过将预训练的潜在物理特征与预训练语言模型融合，来将领域特定的物理知识引入大语言模型。该方法采用教师-学生知识蒸馏框架，其中大型语言模型（教师）生成合成问答监督数据，以将物理推理传递给较小的语言模型（学生）。学生模型在潜在物理特征条件下进行训练，采用轻量级适配器和低秩适应（LoRA）。我们展示了该方法适用于参数量为1B、8B和32B的模型，能够有效地对真实科学数据进行推理。我们的模型在多个下游任务中均显著优于强大基线（如 Gemini 3 Pro），且无需任务特定的微调。我们表明，该模型将潜在信息与通用物理理解相结合，以预测复杂属性，并可以通过识别潜在空间中物理上有意义的方向来进行“引导”。这实现了对潜在结构的显式物理操作和自然语言解释。虽然我们的实验聚焦于天文物理学，但该框架是通用且适用于各种科学领域。我们的主要贡献是构建一种通用框架，将大语言模型用作科学潜在空间可解释接口，使单个模型能够通过自然语言指导完成多样化任务。本工作标志着发展具备科学能力和实用性的大语言模型之路。
引用
@article{arxiv.2602.09670,
title = {Talking with the Latents -- how to convert your LLM into an astronomer},
author = {Ilay Kamai and Marc-Huertas Company and Mike J. Smith and Hagai B. Perets},
journal= {arXiv preprint arXiv:2602.09670},
year = {2026}
}