SimplyRetrieve:一种私有且轻量的以检索为中心的生成式 AI 工具
计算与语言
2023-08-09 v1 人工智能
摘要
基于大语言模型(LLM)的生成式 AI 系统近年来取得了显著进展。集成知识检索架构可使用预训练 LLM 将私有数据无缝整合进公开可用的生成式 AI 系统,而无需额外的模型微调。此外,以检索为中心的生成(RCG)方法——一种明确分离 LLM 与检索器在上下文解释与知识记忆中角色、有前景的未来研究方向——有望带来更高效的实现。SimplyRetrieve 是一个开源工具,旨在向机器学习社区提供本地化、轻量且用户友好的接口以接入这些前沿进展。SimplyRetrieve 具备基于 GUI 与 API 的 RCG 平台,并辅以私有知识库构建器与检索调优模块。借助这些能力,用户可在保持隐私标准的同时探索 RCG 提升生成式 AI 性能的潜力。该工具以 MIT 许可证发布于 https://github.com/RCGAI/SimplyRetrieve。
引用
@article{arxiv.2308.03983,
title = {SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool},
author = {Youyang Ng and Daisuke Miyashita and Yasuto Hoshi and Yasuhiro Morioka and Osamu Torii and Tomoya Kodama and Jun Deguchi},
journal= {arXiv preprint arXiv:2308.03983},
year = {2023}
}
备注
12 pages, 6 figures