面向电信领域问答的首词元概率引导RAG
计算与语言
2025-01-14 v1 人工智能
摘要
大语言模型因其令人印象深刻的通用能力而备受关注。对于需要复杂领域知识的应用，检索增强生成在将特定领域信息纳入LLMs方面展现出了明显的优势。然而，现有的RAG研究尚未充分解决电信领域中多项选择题问答的挑战，特别是在检索质量和缓解幻觉方面。为了应对这些挑战，我们提出了一种新颖的首词元概率引导RAG框架。该框架利用置信度分数来优化关键超参数，如分块数量和分块窗口大小，同时动态调整上下文。我们的方法首先检索最相关的分块，并生成一个词元作为潜在答案。然后将所有选项的概率归一化以作为置信度分数，该分数引导上下文的动态调整。通过基于这些置信度分数迭代优化超参数，我们可以持续提升RAG性能。我们进行了实验以验证我们框架的有效性，展示了其在特定领域MCQA任务中提高准确性的潜力。
引用
@article{arxiv.2501.06468,
title = {First Token Probability Guided RAG for Telecom Question Answering},
author = {Tingwei Chen and Jiayi Chen and Zijian Zhao and Haolong Chen and Liang Zhang and Guangxu Zhu},
journal= {arXiv preprint arXiv:2501.06468},
year = {2025}
}