AstroLLaMA-Chat：通过对话式与多样化数据集扩展 AstroLLaMA
天体物理仪器与方法
2024-01-08 v2 宇宙学与河外天体物理
星系天体物理
太阳与恒星天体物理
计算与语言
机器学习
摘要
我们探索了通过有针对性的持续预训练来增强大语言模型在天文学聚焦的问答中性能的潜力。通过采用紧凑的 7B 参数 LLaMA-2 模型，并专注于一组精选的天文学语料库——包括摘要、引言和结论——我们在特定主题理解方面取得了显著改进。虽然像 GPT-4 这样的通用大语言模型因其卓越的推理能力在更广泛的问答场景中表现出色，但我们的发现表明，利用有限资源进行持续预训练仍能提升模型在特定主题上的性能。此外，我们展示了 AstroLLaMA 的扩展：在特定领域的对话数据集上对 7B LLaMA 模型进行微调，最终发布了支持聊天功能的 AstroLLaMA 供社区使用。全面的定量基准测试目前正在进行中，并将在即将发表的完整论文中详细说明。该模型 AstroLLaMA-Chat 现已在 https://huggingface.co/universeTBD 上可用，为天文学界提供了首个量身定制的开源对话式 AI 工具。
引用
@article{arxiv.2401.01916,
title = {AstroLLaMA-Chat: Scaling AstroLLaMA with Conversational and Diverse Datasets},
author = {Ernest Perkowski and Rui Pan and Tuan Dung Nguyen and Yuan-Sen Ting and Sandor Kruk and Tong Zhang and Charlie O'Neill and Maja Jablonska and Zechang Sun and Michael J. Smith and Huiling Liu and Kevin Schawinski and Kartheik Iyer and Ioana Ciucă for UniverseTBD},
journal= {arXiv preprint arXiv:2401.01916},
year = {2024}
}
备注
4 pages, 1 figure, model is available at https://huggingface.co/universeTBD, published in RNAAS