RAGViz：诊断与可视化检索增强生成
计算与语言
2024-11-05 v1 人工智能
摘要
检索增强生成(RAG)将来自领域特定来源的知识结合到大语言模型中，以支撑答案生成。当前的RAG系统缺乏对上下文文档和模型对这些文档的注意力的可定制可见性。我们提出了RAGViz，一个RAG诊断工具，用于可视化生成标记在检索文档上的注意力。通过内置的用户界面、检索索引和大语言模型(LLM)骨干，RAGViz提供两个主要功能：(1) 标记和文档级注意力可视化，以及(2) 在上下文文档添加和移除时的生成对比。作为一个开源工具包，RAGViz可以轻松托管自定义嵌入模型和HuggingFace支持的LLM骨干。使用混合ANN（近似最近邻）索引、内存高效的LLM推理工具和自定义上下文片段方法，RAGViz在中等GPU节点上以约5秒的中位查询时间高效运行。我们的代码可在https://github.com/cxcscmu/RAGViz获取。RAGViz的演示视频可在https://youtu.be/cTAbuTu6ur4获取。
引用
@article{arxiv.2411.01751,
title = {RAGViz: Diagnose and Visualize Retrieval-Augmented Generation},
author = {Tevin Wang and Jingyuan He and Chenyan Xiong},
journal= {arXiv preprint arXiv:2411.01751},
year = {2024}
}