当符号名称不应重要：新符号分类的逻辑理论
机器学习
2026-05-11 v1 机器学习
摘要
模板任务已成为测试变换器是否以抽象符号而非具体记号名称进行推理的干净基准。在此问题的固定标签分类版本中，训练和测试示例共享潜在模板，但可能使用互斥的词汇表。不同于下一记号预测，模型无需生成未遇见的记号；它必须学习一个对记号重命名不变的决策规则。我们分析正则化核逻辑分类在变换器-核范数下的情形。我们的主要结果将学习到的预测器分解为理想的模板级分类器与由训练数据中意外记号重叠引起的有限样本扰动。我们通过编码这些重叠项构建彩色碰撞图，并证明了新符号分类的高概率边际传递保证。此视角将模板分析扩展到逻辑分类，并细化标量多样性条件：词汇表大小控制碰撞的平均发生率，但碰撞几何决定了理想分类边际是否被保留。更广泛地说，相同的扰动框架也适用于抽象增强的输入，给出识别提示策略何时可提升新符号泛化能力的通用边际-碰撞准则。合成模板实验说明了正则化、样本规模和变换器-核结构在其中的作用。
引用
@article{arxiv.2605.07120,
title = {When Symbol Names Should Not Matter: A Logistic Theory of Fresh-Symbol Classification},
author = {Wenjie Guan and Jelena Bradic},
journal= {arXiv preprint arXiv:2605.07120},
year = {2026}
}