EdgeRAG：面向边缘设备的在线索引检索增强生成
机器学习
2025-01-03 v2
摘要
在资源受限的边缘设备上部署检索增强生成 (RAG) 由于内存和计算能力有限，具有挑战性。本文提出了 EdgeRAG，通过剔除簇内嵌入来解决内存限制问题，在检索期按需生成嵌入。为避免大型尾部簇生成嵌入导致延迟，EdgeRAG 预先计算并存储这些簇的嵌入，同时自适应地缓存剩余嵌入以最小化冗余计算并进一步优化延迟。BEIR 测试套件的结果表明，EdgeRAG 相对于基线 IVF 索引在显著降低延迟方面具有显著优势，但在保持相似的生成质量的同时，允许我们评估的数据集全部适用于内存。
引用
@article{arxiv.2412.21023,
title = {EdgeRAG: Online-Indexed RAG for Edge Devices},
author = {Korakit Seemakhupt and Sihang Liu and Samira Khan},
journal= {arXiv preprint arXiv:2412.21023},
year = {2025}
}