为归纳推理生成多样化的假设
人工智能
2025-02-11 v2 软件工程
摘要
归纳推理——从少量观察中推断一般规则的过程——是人类智能的一个基本方面。近期研究表明，大语言模型（LLM）可以通过对规则进行多个假设采样并选择最能解释观察结果的假设来进行归纳推理。然而，由于独立同分布（IID）采样，经常生成语义冗余的假设，导致计算资源的大量浪费。在本文中，我们1）证明通过提高温度来增强多样性受到文本退化问题的限制，以及2）提出一种在保持文本质量的同时提高多样性的新方法。我们首先分析了提高温度参数（被视为LLM的多样性控制）对IID假设的影响。我们的分析表明，随着温度升高，假设的多样性和准确性在一定范围内增加，但由于文本退化，这一趋势趋于饱和。为了生成语义更多样且质量更高的假设，我们提出了一种受人类归纳推理启发的新方法，称为概念混合（MoC）。当应用于多个归纳推理基准时，与标准IID采样和其他方法相比，MoC展示了显著的性能提升。
引用
@article{arxiv.2412.13422,
title = {Generating Diverse Hypotheses for Inductive Reasoning},
author = {Kang-il Lee and Hyukhun Koh and Dongryeol Lee and Seunghyun Yoon and Minsung Kim and Kyomin Jung},
journal= {arXiv preprint arXiv:2412.13422},
year = {2025}
}
备注
NAACL 2025