探究大型语言模型中基于决策边界的类比学习机制

类比学习是大型语言模型（LLM）中的关键范式，使其能够通过无需显式参数更新的方式，通过仅提供少量示例来泛化到新的任务和领域。许多研究试图从模型规模、预训练数据及其他因素的角度理解类比学习。本文提出了一种新机制，从决策边界对类比学习中的二分类任务进行探测和理解。决策边界易于可视化，能提供关于标准分类器归纳偏置定性行为的重要信息。我们惊讶地发现，当前LLMs在简单二分类任务中学习到的决策边界往往不规则且不光滑，无论底层任务是否具有线性可分性。本文探讨了影响这些决策边界的因素，并研究了提高其通用性的方法。我们评估了包括训练-free方法和微调方法、模型架构以及主动提示技术在内的各种方法，这些方法能够在数据效率方面平滑决策边界。我们的发现提供了对类比学习动态的更深入理解，并为增强类比学习的鲁棒性和通用性提供了实用方法。