基于大语言模型的可扩展科学兴趣轮廓化
计算与语言
2026-01-07 v2 数字图书馆
信息检索
其他定量生物学
摘要
研究轮廓凸显科学家的研究焦点，使人才发现和合作成为可能，但往往已过时。亟需自动化、可扩展的方法以保持轮廓的及时性。我们设计并评估了两种基于大语言模型 (LLM) 的方法来生成科学兴趣轮廓——一种是对 PubMed 摘要进行汇总，另一种是使用医学主题标题 (MeSH) 术语——并将其与研究人员自行汇总的兴趣进行比较。我们收集了来自哥大纳斯大学医学中心 595 名教职员的 PubMed 发表物的标题、MeSH 术语和摘要，获得 167 名教职员的手写轮廓。GPT-4o-mini 被指示为每位研究人员汇总其兴趣。通过手动和自动评估， characterize 机器生成轮廓与自行编写轮廓之间的相似性。相似性研究显示，ROUGE-L、BLEU 和 METEOR 分数较低，反映出术语重叠较小。BERTScore 分析显示尽管词汇重叠较小，仍具有中等语义相似性 (MeSH 基方法为 0.542，摘要基方法为 0.555)。在验证方面，改写后的摘要实现的 F1 分数为 0.851。将原始摘要与手动改写摘要进行比较表明，这类指标存在局限性。TF-IDF 值的克隆-氏尔散度 (MeSH 基方法为 8.56，摘要基方法为 8.58) 表明机器摘要所使用的关键词与人类编写的摘要不同。手动审阅显示 77.78% 的评估者认为 MeSH 基方法的轮廓化“良好”或“优秀”，可读性在 93.44% 的案例中得到 favorable 评价，尽管粒度和准确性有所不同。评审小组更倾向于 67.86% 的 MeSH 派生轮廓而非摘要派生轮廓。大语言模型有望实现科学兴趣轮廓的规模化自动化。MeSH 派生轮廓的可读性优于摘要派生轮廓。机器生成的摘要与人类编写的摘要在概念选择上存在差异，后者更倾向于引发新的想法。
引用
@article{arxiv.2508.15834,
title = {Scalable Scientific Interest Profiling Using Large Language Models},
author = {Yilun Liang and Gongbo Zhang and Edward Sun and Betina Idnay and Yilu Fang and Fangyi Chen and Casey Ta and Yifan Peng and Chunhua Weng},
journal= {arXiv preprint arXiv:2508.15834},
year = {2026}
}