结合 ASP 支架的 LLM 中共形预测用于鲁棒推理的实证研究
计算与语言
2025-04-14 v2 人工智能
摘要
在本文中，我们研究了将共形语言建模（CLM）与回答集程序设计（ASP）相结合，以增强标准开放权重 LLM 在复杂多步推理任务上的性能。使用需要空间推理的 StepGame 数据集，我们应用 CLM 从 LLM 中生成 ASP 程序集，为输出的正确性提供统计保证。实验结果表明，CLM 显著优于使用标准采样方法的基线模型，在不同推理复杂度水平上均实现了显著的准确率提升。此外，LLM-as-Judge 指标增强了 CLM 的性能，特别是在评估结构和逻辑上正确的 ASP 输出时。然而，使用多样化校准集对 CLM 进行校准，并未能提高在需要更长推理步骤的任务上的泛化能力，这表明在处理更复杂任务时存在局限性。
引用
@article{arxiv.2503.05439,
title = {An Empirical Study of Conformal Prediction in LLM with ASP Scaffolds for Robust Reasoning},
author = {Navdeep Kaur and Lachlan McPheat and Alessandra Russo and Anthony G Cohn and Pranava Madhyastha},
journal= {arXiv preprint arXiv:2503.05439},
year = {2025}
}