链式排名：增强面向边缘设备的领域特定 RAG 的大语言模型
计算与语言
2025-02-24 v1 人工智能
摘要
检索增强生成（RAG）配合大语言模型（LLM）在专业领域尤为重要，因 precision 至关关键。为更专业地适配目标领域，领域特定 RAG 最近通过允许 LLM 通过微调早期访问目标领域来实现。领域特定 RAG 在资源受限的环境中（如边缘设备）尤为合适，因为它们应仅使用小规模 LLM 即可可靠地执行特定任务（如个性化）。然而，领域特定 RAG 常依赖链式思维（CoT）等广泛使用的推理技术。这种推理步骤虽有助于理解外部知识，但对小规模 LLM 来说计算代价高昂且学习困难。为此，我们提出链式排名（CoR）方法，将注意力从复杂冗长的推理转向对输入外部文档可靠性的简单排序。CoR 降低了计算复杂度，同时保持高准确率，特别适合资源受限的环境。我们取得了基准测试中的最新结果（SOTA），并分析了其有效性。
引用
@article{arxiv.2502.15134,
title = {Chain-of-Rank: Enhancing Large Language Models for Domain-Specific RAG in Edge Device},
author = {Juntae Lee and Jihwan Bang and Seunghan Yang and Kyuhong Shim and Simyung Chang},
journal= {arXiv preprint arXiv:2502.15134},
year = {2025}
}
备注
NAACL 2025 (Findings)