问题分解提升模型生成推理的忠实性
计算与语言
2023-07-26 v2 人工智能
机器学习
摘要
随着大语言模型（LLMs）执行更困难的任务，验证其行为正确性与安全性变得愈发困难。对此的一种应对方法是提示 LLM 外化其推理，例如让模型在回答问题时生成逐步推理（思维链；CoT）。该推理或能使我们检查模型执行任务的过程。然而，此方法依赖所述推理忠实反映模型实际推理，而这并非总成立。为改进 CoT 推理的忠实性，我们让模型通过将方程问题分解为子问题来生成推理。基于分解的方法在问答任务上取得强劲表现，有时接近 CoT，同时在若干近期提出的指标上提升了模型所述推理的忠实性。通过强制模型在独立上下文中回答更简单的子问题，我们大幅提升了相较 CoT 的模型生成推理忠实性，同时仍获得 CoT 的部分性能增益。我们的结果表明，提升模型生成推理的忠实性是可能的；持续改进或能带来可让我们验证 LLM 行为正确性与安全性的推理。
引用
@article{arxiv.2307.11768,
title = {Question Decomposition Improves the Faithfulness of Model-Generated Reasoning},
author = {Ansh Radhakrishnan and Karina Nguyen and Anna Chen and Carol Chen and Carson Denison and Danny Hernandez and Esin Durmus and Evan Hubinger and Jackson Kernion and Kamilė Lukošiūtė and Newton Cheng and Nicholas Joseph and Nicholas Schiefer and Oliver Rausch and Sam McCandlish and Sheer El Showk and Tamera Lanham and Tim Maxwell and Venkatesa Chandrasekaran and Zac Hatfield-Dodds and Jared Kaplan and Jan Brauner and Samuel R. Bowman and Ethan Perez},
journal= {arXiv preprint arXiv:2307.11768},
year = {2023}
}
备注
For few-shot examples and prompts, see https://github.com/anthropics/DecompositionFaithfulnessPaper