利用语义文本相似度改进 astroBERT
计算与语言
2022-12-02 v1 天体物理仪器与方法
摘要
NASA 天体物理数据系统（ADS）是研究人员探索天文学与天体物理学科研文献的重要工具，但尚未充分利用自然语言处理的最新进展。在 ADASS 2021 上，我们介绍了 astroBERT，一种为 ADS 中天文学论文文本定制的机器学习语言模型。在本工作中我们：宣布 astroBERT 语言模型的首次公开发布；展示 astroBERT 在特定天体物理学任务上优于现有公开语言模型；并详述 ADS 计划如何利用科学论文的独特结构、引文图以及引文上下文来进一步改进 astroBERT。
引用
@article{arxiv.2212.00744,
title = {Improving astroBERT using Semantic Textual Similarity},
author = {Felix Grezes and Thomas Allen and Sergi Blanco-Cuaresma and Alberto Accomazzi and Michael J. Kurtz and Golnaz Shapurian and Edwin Henneken and Carolyn S. Grant and Donna M. Thompson and Timothy W. Hostetler and Matthew R. Templeton and Kelly E. Lockhart and Shinyi Chen and Jennifer Koch and Taylor Jacovich and Pavlos Protopapas},
journal= {arXiv preprint arXiv:2212.00744},
year = {2022}
}