Transformer中基于注意力矩阵的层次动态分析用于零样本分类
机器学习
2026-04-20 v2 人工智能
摘要
Transformer能够从少量标记样本中进行零样本分类，但推理时的算法仍不透明。我们研究硬无间隔 regime 下的多类线性分类，通过在每个层面强制特征和标签的置换等价性来使计算可辨识。这既保持了功能等价性又产生高度结构化的权重。从这些模型中，我们提取一个显式的深度指数递归：一种在softmax Transformer内部实现的、据我们所知的首个明确的渐进更新规则。由混合特征-标签 Gram 结构形成的注意力矩阵驱动训练点、标签和测试探针的耦合更新。 resulting dynamics implement a geometry-driven algorithmic motif, which can provably amplify class separation and yields robust expected class alignment。
关键词
引用
@article{arxiv.2604.11613,
title = {Layerwise Dynamics for In-Context Classification in Transformers},
author = {Patrick Lutz and Themistoklis Haris and Arjun Chandra and Aditya Gangrade and Venkatesh Saligrama},
journal= {arXiv preprint arXiv:2604.11613},
year = {2026}
}