HGOT：用于事实性评估中检索增强上下文学习的层次化思维图
人工智能
2024-07-03 v2 计算与语言
摘要
随着大型语言模型（LLMs）在众多应用中的广泛采用，事实性和幻觉倾向的挑战已成为一个重大问题。为了解决这个问题，特别是在检索增强的上下文学习中，我们引入了层次化思维图（HGOT），一种结构化的多层图方法，旨在增强上下文学习中相关段落的检索。该框架利用LLMs的新兴规划能力，采用分治策略将复杂查询分解为可管理的子查询。它改进了用于答案选择的自一致性多数投票，结合了最近提出的引文召回率和精确度指标来评估思维质量，将答案的可信度与思维质量内在联系起来。该方法在多数投票中引入了加权系统，根据思维的引文质量对答案进行优先级排序。此外，我们提出了一种评估检索段落的评分机制，考虑了引文频率和质量、自一致性置信度以及检索模块的排名等因素。实验表明，HGOT作为一种通用方法表现出色，在FEVER上比竞争模型高出7%，在Open-SQuAD上与Retrieve-then-Read等领先模型相当，在HotPotQA上与DSP相当，证明了其在增强LLMs事实性方面的有效性。
引用
@article{arxiv.2402.09390,
title = {HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation},
author = {Yihao Fang and Stephen W. Thomas and Xiaodan Zhu},
journal= {arXiv preprint arXiv:2402.09390},
year = {2024}
}