RISCORE：通过上下文重构示例增强增强语言模型的上下文谜题求解能力
计算与语言
2024-12-18 v4
摘要
解谜需要高级推理技能，促使 LLM 进行抽象思维和创造性问题解决，这往往揭示了其认知能力的局限性。在本文中，我们使用多项选择格式检验了 LLM 的解谜能力，探讨了不同提示技术如何影响对需要多样化推理技能的谜题的表现。为了改善结果，我们引入了 RISCORE（RIddle Solving with COntext REcontruciton），这是一种新颖的全自动提示方法，它生成并利用上下文重构的基于句子的谜题，结合原始示例来创建少样本示例。我们的实验表明，RISCORE 在纵向思维和横向思维任务中均显著提高了语言模型的性能，在各种少样本设置下超越了传统的示例选择策略。
引用
@article{arxiv.2409.16383,
title = {RISCORE: Enhancing In-Context Riddle Solving in Language Models through Context-Reconstructed Example Augmentation},
author = {Ioannis Panagiotopoulos and Giorgos Filandrianos and Maria Lymperaiou and Giorgos Stamou},
journal= {arXiv preprint arXiv:2409.16383},
year = {2024}
}
备注
Accepted at COLING 2025