可实现性约束下的自适应性：上下文学习与智能体学习的比较
机器学习
2026-05-07 v1 统计理论
机器学习
统计理论
摘要
我们比较了固定查询的上下文学习与自适应查询的智能体学习在任务族一致逼近中的表现。我们考虑两种设置：一种是无限制机制，其中查询和逼近是任意函数；另一种是可实现机制，其中我们要求这些操作由 ReLU 神经网络实现。在两种设置中，自适应性都不会阻碍逼近性能。然而，当从无限制机制转向可实现机制时，这种优势可能会发生变化。我们确定了四种不同的逼近场景，每种场景都由一个显式的任务族所证实：无自适应性优势；在无限制机制中的优势在 ReLU 可实现性下保持不变；仅在可实现性下才出现的优势；以及在可实现性下消失的优势。这表明表示约束与自适应性的影响之间存在深刻的相互作用。
引用
@article{arxiv.2605.04995,
title = {Adaptivity Under Realizability Constraints: Comparing In-Context and Agentic Learning},
author = {Anastasis Kratsios and A. Martina Neuman and Philipp Petersen},
journal= {arXiv preprint arXiv:2605.04995},
year = {2026}
}