面向隐私与个性化文本生成的设备端检索增强工具 MeMemo
信息检索
2024-07-03 v1 人工智能
人机交互
机器学习
摘要
检索增强文本生成 (RAG) 通过从可更新的外部知识库中检索信息来解决大型语言模型 (LLM) 如幻觉等常见局限性。然而，现有方法通常需要专用的后端服务器进行数据存储和检索，从而限制了其在需要严格数据隐私的用例的适用性，如个人金融、教育和医疗。为满足客户端密集型检索的迫切需求，我们介绍了 MeMemo，即第一个开源的 JavaScript 工具包，将最先进的近似最近邻搜索技术 HNSW 适配到浏览器环境。我们采用现代和原生 Web 技术，如 IndexedDB 和 Web Workers，利用客户端硬件能力，使研究人员和开发人员能够在浏览器中高效检索数百万维高维向量。MeMemo enables 新的设计和研究机遇，如私有和个性化内容创建和交互式原型设计，正如我们在示例应用 RAG Playground 中所演示的。反思我们的工作，我们讨论了面向设备端密集型检索的机会与挑战。MeMemo 已在 https://github.com/poloclub/mememo 上提供。
引用
@article{arxiv.2407.01972,
title = {MeMemo: On-device Retrieval Augmentation for Private and Personalized Text Generation},
author = {Zijie J. Wang and Duen Horng Chau},
journal= {arXiv preprint arXiv:2407.01972},
year = {2024}
}
备注
Accepted to SIGIR 2024. 6 pages, 2 figures. For a live demo, visit https://poloclub.github.io/mememo/. Code is open-source at https://github.com/poloclub/mememo