面向更好理解跨语言和多语言环境中的程序思考推理
计算与语言
2025-05-23 v2
摘要
多步骤推理是大型语言模型（LLM）的关键，但多语言性能仍具有挑战。虽然链式思考（CoT）提示可改善推理，但在非英语语言方面因推理与执行的耦合而受限。程序思考（PoT）提示将推理与执行分离，提供了有前景的替代方案，但将挑战转移到从非英语问题生成程序方面。我们提出了一个评估框架，通过分离多语言推理与代码执行来检验（i）微调对问题-推理对齐的影响，以及（ii）推理质量对答案正确性的影响。我们的发现表明，PoT 微调显著提升了多语言推理，超越 CoT 微调模型。我们进一步演示了推理质量（通过代码质量衡量）与答案准确性之间的强相关性，突显其作为测试时性能改进 heuristics 的潜力。
引用
@article{arxiv.2502.17956,
title = {Towards Better Understanding of Program-of-Thought Reasoning in Cross-Lingual and Multilingual Environments},
author = {Patomporn Payoungkhamdee and Pume Tuchinda and Jinheon Baek and Samuel Cahyawijaya and Can Udomcharoenchaikit and Potsawee Manakul and Peerat Limkonchotiwat and Ekapol Chuangsuwanich and Sarana Nutanong},
journal= {arXiv preprint arXiv:2502.17956},
year = {2025}
}