如何从零样本示例开始：对函数向量在零样本学习中作用的因果分解
机器学习
2026-05-26 v2 人工智能
摘要
零样本学习（ICL）能从最小示例中处理新任务，但我们仍缺乏对少量样本提示如何影响模型函数向量（FV）的机械解释——FV是一种引导ICL查询任务行为的因果激活方向。在不同任务和模型之间，n 样本FV被良好近似为示例级别子FV的线性组合，这表明来自单个演示的贡献是可加且可组合的。除了可加性，我们发现模型会根据先前的示例来 contextualize 单个示例的表示，从而对性地重新加权哪些演示主导FV：注意力倾向于关注在上下文下更具信息性且更不模糊的示例。最终，因果分解将查询-键路由与值更新分离，发现 contextualize 对FV质量贡献最一致的来源是查询-键对齐——特别是在模糊情境下——而值介导的效应更为异构。总之，这些结果将可加叠加与上下文依赖注意力重新加权统一为一种关于少量样本如何实现任务的机械、可测试的解释。
引用
@article{arxiv.2605.16591,
title = {How Few-Shot Examples Add Up: A Causal Decomposition of Function Vectors in In-Context Learning},
author = {Entang Wang and Yiwei Wang and Aleksandra Bakalova and Michael Hahn},
journal= {arXiv preprint arXiv:2605.16591},
year = {2026}
}
备注
Accepted at ICML 2026. 70 pages, 65 figures