Cosmos：基于 CXL 的全内存近似最近邻搜索系统
硬件体系结构
2025-05-23 v1
摘要
检索增强生成 (RAG) 对提高大语言模型质量至关重要，其通过注入来自外部来源提取的适当上下文来实现。RAG 需要对规模为十亿级的向量数据库进行高吞吐、低延迟的近似最近邻搜索 (ANNS)。传统的 DRAM/SSD 方案在容量和延迟方面受限，而专业硬件或 RDMA 集群则缺乏灵活性或增加网络开销。我们提出了 Cosmos 系统，将通用核心集成到 CXL 内存设备中实现全 ANNS 卸载，引入基于层级的并行距离计算以最大化内存带宽。我们还提出一种基于聚类间近邻性在 CXL 设备之间平衡搜索负载的邻域感知数据布局。在 SIFT1B 和 DEEP1B 跟踪器上的评估表明，Cosmos 比基线 CXL 系统提高了最高 6.72 倍，比最新 CXL 解决方案提高了 2.35 倍，证明其为 RAG 流水线提供了可扩展性。
引用
@article{arxiv.2505.16096,
title = {Cosmos: A CXL-Based Full In-Memory System for Approximate Nearest Neighbor Search},
author = {Seoyoung Ko and Hyunjeong Shim and Wanju Doh and Sungmin Yun and Jinin So and Yongsuk Kwon and Sang-Soo Park and Si-Dong Roh and Minyong Yoon and Taeksang Song and Jung Ho Ahn},
journal= {arXiv preprint arXiv:2505.16096},
year = {2025}
}
备注
4 pages, 5 figures, to appear at IEEE Computer Architecture Letters