小型语言模型为科学社区提供显著潜力
计算与语言
2025-10-23 v1 人工智能
摘要
近期自然语言处理领域的进展，特别是大型语言模型(LLMs)，正在改变科学家如何与文献互动的方式。尽管LLMs的采纳正在增加，但仍存在潜在信息偏见和计算成本方面的顾虑。我构建了一个框架，以评估使用 freely available 小型语言模型(MiniLMs)从广泛的地球科学文献中进行精确、快速且高效信息检索的可行性。从2000年至2024年，构建了一个约7700万条高质量句子的精选语料库，来自Geophysical Research Letters和Earth and Planetary Science Letters等95个领先同行评议地球科学期刊。MiniLMs通过语义搜索技术和句子级索引，为从这些语料库中提取相关领域特定信息提供了计算效率高的ethods。与往往产生泛化性响应的ChatGPT-4等LLMs不同，该方法在识别大量经专家验证的、来自多学科来源的已建立信息方面尤为出色，特别是对于具有定量发现的信息。此外，通过对情感语气的情感分析和对话题聚类的无监督聚类，MiniLM为跟踪地球科学社区中结论的演变、研究优先事项、进展以及新兴问题提供了强大的工具。总体而言，MiniLM在地球科学社区内具有显著潜力，可用于信息检索、趋势分析、矛盾分析和教育目的。
引用
@article{arxiv.2510.18890,
title = {Small Language Models Offer Significant Potential for Science Community},
author = {Jian Zhang},
journal= {arXiv preprint arXiv:2510.18890},
year = {2025}
}