IAO 提示：通过结构化推理模板在 LLM 中显式建模知识流动
计算与语言
2025-02-06 v1
摘要
虽然大型语言模型（LLM）展示出惊人的推理能力，但理解和验证其知识利用仍然具有挑战性。链式思维（CoT）提示在一定程度上解决了这一问题，通过揭示中间推理步骤，但知识流动和应用仍然是隐式的。我们提出 IAO（Input-Action-Output）提示，这是一种基于结构化模板的方法，显式地建模 LLM 在复杂推理任务中如何访问和应用其知识。IAO 将问题分解为一系列步骤，每个步骤清晰地标识正在使用的输入知识、正在执行的动作以及产生的结果。这种结构化分解使我们能够追踪知识流动、验证事实一致性，并识别潜在的知识缺口或错误应用。通过在多样化的推理任务上的实验，我们展示了 IAO 不仅提高了零样本性能，还在 LLM 利用存储知识的方式上提供了透明度。人类评估确认，这种结构化方法增强了我们验证知识利用并检测潜在幻觉或推理错误的能力。我们的发现为 LLM 内部的知识表示以及更可靠的知识应用方法提供了见解。
引用
@article{arxiv.2502.03080,
title = {IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates},
author = {Aissatou Diallo and Antonis Bikakis and Luke Dickens and Anthony Hunter and Rob Miller},
journal= {arXiv preprint arXiv:2502.03080},
year = {2025}
}
备注
Accepted as Oral at KnowFM @ AAAI 2025