增强检索增强生成系统的主题丰富嵌入：结合传统 NLP 技术的混合方法
信息检索
2026-01-06 v1 人工智能
摘要
检索增强生成 (RAG) 系统依赖准确的文件检索将大型语言模型 (LLM) 锚定在外部知识上，但在主题重叠且主题变异性高的语料库中，检索质量常会下降。本文提出主题丰富嵌入，集成术语信号与主题结构与上下文句子嵌入。该方法结合 TF-IDF 与主题建模及降维技术，采用潜在语义分析 (LSA) 和潜在狄利克雷分布 (LDA) 编码潜在主题组织，并与紧凑型上下文编码器 (all-MiniLM) 融合。通过联合捕获术语级与主题级语义，主题丰富嵌入可提升语义聚类效果，提高检索精度，同时较纯上下文基线方法降低计算负担。实验在法律文本语料库上表现一致，聚类连贯性和检索指标均得到提升，表明主题丰富嵌入可作为更可靠知识密集型 RAG 流程的实用组件。
引用
@article{arxiv.2601.00891,
title = {Enhancing Retrieval-Augmented Generation with Topic-Enriched Embeddings: A Hybrid Approach Integrating Traditional NLP Techniques},
author = {Rodrigo Kataishi},
journal= {arXiv preprint arXiv:2601.00891},
year = {2026}
}