Lightning IR：面向信息检索的Transformer语言模型微调与推理的简易框架
信息检索
2025-04-16 v5
摘要
已有大量基于Transformer的语言模型被提出用于信息检索任务。然而，将Transformer模型纳入检索流水线通常十分复杂，需要大量的工程投入。本文介绍Lightning IR，一个基于PyTorch Lightning的易于使用的框架，用于在检索场景中应用基于Transformer的语言模型。Lightning IR提供模块化和可扩展的架构，支持检索流水线的所有阶段：从微调和索引到检索和重排序。Lightning IR设计为可扩展且可复现，并以开源形式发布：https://github.com/webis-de/lightning-ir。
引用
@article{arxiv.2411.04677,
title = {Lightning IR: Straightforward Fine-tuning and Inference of Transformer-based Language Models for Information Retrieval},
author = {Ferdinand Schlatt and Maik Fröbe and Matthias Hagen},
journal= {arXiv preprint arXiv:2411.04677},
year = {2025}
}
备注
Accepted as a demo at WSDM'25