结构对实例级 Self-Discover 推理的影响
人工智能
2025-07-08 v1
摘要
在对可预测的 LLM 推理的需求推动下,结构化输出在与复合系统集成中日益流行,但其相对于无约束自然语言在性能上的权衡仍令人担忧。同时,在无约束思维链(CoT)轨迹上训练催生了一类强大的推理模型,但这些模型仍面临计算预算与忠实性方面的新挑战。本文提出了 iSelf-Discover,即 Self-Discover 框架的实例级适配版本,并利用它比较了动态生成的结构化 JSON 推理与其无结构对应物。我们在多个基准上使用当前最先进的开源模型进行的实证评估一致支持无结构推理的优势。值得注意的是,在复杂的 MATH 基准上,无结构规划相对结构化方法取得了高达 18.90% 的性能提升。零样本无结构 iSelf-Discover 变体同样优于其五样本结构化对应版本,即便结构化规划被动态生成以确保推理先于最终答案,这一差距依然显著。我们进一步证明,规划生成的最佳粒度(实例级与任务级)取决于具体情境。上述发现促使我们重新审视在复杂问题求解中对结构化格式的依赖,以及复合系统应如何组织。
引用
@article{arxiv.2507.03347,
title = {Effects of structure on reasoning in instance-level Self-Discover},
author = {Sachith Gunasekara and Yasiru Ratnayake},
journal= {arXiv preprint arXiv:2507.03347},
year = {2025}
}