贝叶斯视角下：延迟通用性在零样本学习中的表现
机器学习
2026-04-15 v1 机器学习
摘要
零样本学习使 transformer 能够在推理时通过少量示例适应新任务，而‘grokking’现象则表明这种通用性仅在长期训练后才会突然出现。我们从贝叶斯视角研究零样本学习中的任务通用性和grokking，探究从记忆转向通用性的延迟性迁移的关键因素。具体而言，我们考虑模块算术任务，其中 transformer 必须仅从零样本示例中推断出隐含的线性函数，并分析预测不确定性在训练期间的演化过程。我们结合近似贝叶斯技术来估计后验分布，研究不确定性在训练期间以及在任务多样性、上下文长度和上下文噪声变化下的行为。我们发现，当模型grok时，表观不确定性会急剧坍缩，使不确定性成为 transformer 通用性的实用标签无关诊断工具。此外，我们提供了简化的贝叶斯线性模型的理论支持，表明从 asymptotically 角度看，延迟通用性和不确定性峰值都源于相同的谱机制，该机制将grokking时间与不确定性动力学联系起来。
引用
@article{arxiv.2604.12434,
title = {A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning},
author = {Abdessamed Qchohi and Simone Rossi},
journal= {arXiv preprint arXiv:2604.12434},
year = {2026}
}