AstroLLaMA：迈向天文学专用基础模型
天体物理仪器与方法
2023-09-13 v1 宇宙学与河外天体物理
星系天体物理
高能天体物理现象
计算与语言
机器学习
摘要
大语言模型在许多人类语言任务中表现出色，但在天文学学术等高度专业领域常显不足。为弥补这一差距，我们引入 AstroLLaMA，一个从 LLaMA-2 微调的 70 亿参数模型，使用来自 arXiv 的超过 300,000 篇天文学摘要训练。针对传统因果语言建模优化后，AstroLLaMA 的困惑度比 Llama-2 低 30%，显示出显著的领域适配。尽管参数明显更少，我们的模型比最先进的基础模型生成更具洞察力且科学相关的文本补全与嵌入提取。AstroLLaMA 作为一个鲁棒的领域专用模型，具有广泛的微调潜力。其公开发布旨在促进以天文学为重点的研究，包括自动论文摘要与对话智能体开发。
引用
@article{arxiv.2309.06126,
title = {AstroLLaMA: Towards Specialized Foundation Models in Astronomy},
author = {Tuan Dung Nguyen and Yuan-Sen Ting and Ioana Ciucă and Charlie O'Neill and Ze-Chang Sun and Maja Jabłońska and Sandor Kruk and Ernest Perkowski and Jack Miller and Jason Li and Josh Peek and Kartheik Iyer and Tomasz Różański and Pranav Khetarpal and Sharaf Zaman and David Brodrick and Sergio J. Rodríguez Méndez and Thang Bui and Alyssa Goodman and Alberto Accomazzi and Jill Naiman and Jesse Cranney and Kevin Schawinski and UniverseTBD},
journal= {arXiv preprint arXiv:2309.06126},
year = {2023}
}
备注
6 pages, 3 figures, submitted to IJCNLP-AACL 2023. Comments are welcome. The model can be found on Hugging Face - https://huggingface.co/universeTBD/astrollama