LUMA-RAG：具证明稳定性 lifelong 多模态代理
机器学习
2025-11-05 v1
摘要
检索增强生成（RAG）已成为 grounding 大型语言模型输出于可验证证据的主导范式。然而，随着现代AI代理从静态知识库向包含文本、图像、视频和音频的持续性多模态流转变，两个关键挑战浮现：在不高昂重索引成本下维持索引新鲜性，以及在异构嵌入空间中保持跨模态语义一致性。我们提出LUMA-RAG，一种具三项关键创新的 lifelong 多模态代理架构：（i）一种在严格内存预算下动态将嵌入从热端HNSW spilling 到压缩IVFPQ端的流式、多层次记忆系统；（ii）一种维持跨模态一致性通过增量正交 Procrustes 更新的 streaming CLAP->CLIP 对齐桥；（iii）提供 Safe@k 保证的 stability-aware 检索遥测，通过联合约束对齐漂移和量化误差。实验表明，文本到图像检索表现稳健（Recall@10=0.94），在产品量化卸载下表现优雅退化，以及对 audio-to-image 排名具有证明稳定性（Safe@1=1.0），确立LUMA-RAG为生产环境多模态RAG系统的实用框架。
引用
@article{arxiv.2511.02371,
title = {LUMA-RAG: Lifelong Multimodal Agents with Provably Stable Streaming Alignment},
author = {Rohan Wandre and Yash Gajewar and Namrata Patel and Vivek Dhalkari},
journal= {arXiv preprint arXiv:2511.02371},
year = {2025}
}