模型先验在现实世界归纳推理中的作用
人工智能
2024-12-19 v1 计算与语言
摘要
大型语言模型（LLM）在受到上下文演示指导时展现出惊人的归纳推理能力，能够生成能够有效推广到新实例的假设。然而，在现实应用场景中，LLM的假设生成并非仅由这些演示决定，而是受到任务特定模型先验的显著影响。尽管这些先验具有关键影响力，但模型先验与演示对假设生成的具体贡献仍未得到充分探讨。本研究通过在五个真实任务中系统评估三种归纳推理策略，并测试三种LLM，填补了这一空白。我们的实证发现表明，假设生成主要由模型内在的先验驱动；去除演示后，假设质量和下游使用几乎没有明显下降。进一步分析显示，结果在各种标签格式和不同标签配置下均保持一致，且先验即使在翻转标记情境下也难以被覆盖。这些见解推进了我们对LLM中假设生成动力学的理解，并凸显了在现实世界的归纳推理任务中更好地利用模型先验的潜力。
引用
@article{arxiv.2412.13645,
title = {On the Role of Model Prior in Real-World Inductive Reasoning},
author = {Zhuo Liu and Ding Yu and Hangfeng He},
journal= {arXiv preprint arXiv:2412.13645},
year = {2024}
}