面向LLM驱动的科学工作流任务感知检索:为Galaxy系统而设计
软件工程
2025-11-04 v1
摘要
科学工作流管理系统(SWfMS)如Galaxy已成为生物信息学中至关重要的基础设施,支持复杂多步骤分析的设计、执行与共享。尽管Galaxy托管了数百个可复用的工作流,但其当前基于关键词的检索系统仅能提供有限的语义查询解释,常因缺乏精确匹配而未能凸显相关工作流。为填补这一空白,我们提出一种任务感知的双阶段检索框架,将稠密向量检索与大语言模型(LLM)重排序集成。我们的系统首先使用最先进的嵌入模型检索候选工作流,然后通过基于语义任务对齐的指令微调生成式LLM(如GPT-4o、Mistral-7B)进行重排序。为支持稳健评估,我们构建了包含通过BERTopic标注语义主题的Galaxy工作流基准数据集,并使用LLM合成真实任务导向查询。我们对比评估了词法、稠密和重排序模型,采用标准信息检索指标,首次系统评估了Galaxy生态系统内的检索性能。结果表明,我们的方法在提升Top-K准确率和相关性方面显著有效,尤其适用于长篇或表述不完整的查询。我们进一步将系统集成至Galaxy原型工具中,为LLM增强型工作流搜索提供了概念验证。本工作推动了科学工作流的可用性与可及性,尤其为新手用户和跨学科研究人员。
引用
@article{arxiv.2511.01757,
title = {Towards LLM-Powered Task-Aware Retrieval of Scientific Workflows for Galaxy},
author = {Shamse Tasnim Cynthia and Banani Roy},
journal= {arXiv preprint arXiv:2511.01757},
year = {2025}
}