Lachesis: 基于推理路径结构属性预测 LLM 推理准确性
软件工程
2024-12-12 v1
摘要
大型语言模型正在用于构建执行更复杂任务的智能体。随着 LLM 通过更长的交互执行更复杂的推理，自洽性，即通过抽样和对多个独立推断进行边际化所获得的答案更可能正确的想法，已受到广泛关注作为一种简单的验证技术。本文旨在通过预测从推理路径属性中获得的自洽性答案的正确性来实证验证这一直观假设。我们引入 Lachesis，一种基于自洽性 LLM 推理的预测模型，并使用 AutoFL 作为目标技术进行经验评估，该技术使用自洽性。Lachesis 将来自 AutoFL 的收集的推理路径转换为特定设计的推理路径表示，并训练 LSTM 和 GCN 模型来预测给定的推理路径集合是否会导致正确的答案。结果表明，Lachesis 可以以最高达 0.8136 的精度预测答案的正确性，突显了训练一种预测模型以允许提前终止不太可能成功的推理的可能性。
引用
@article{arxiv.2412.08281,
title = {Lachesis: Predicting LLM Inference Accuracy using Structural Properties of Reasoning Paths},
author = {Naryeong Kim and Sungmin Kang and Gabin An and Shin Yoo},
journal= {arXiv preprint arXiv:2412.08281},
year = {2024}
}
备注
To appear at DeepTest 2025