名称无关紧要：用于开放词汇学习的符号不变Transformer
机器学习
2026-02-02 v1 计算机科学中的逻辑
符号计算
摘要
当前的神经架构缺乏一种原则性的方法来处理可互换的token，即语义等价但可区分的符号，例如约束变量。因此，在固定词汇表上训练的模型通常难以泛化到未见过的符号，即使底层语义保持不变。我们提出了一种新颖的基于Transformer的机制，该机制对可互换token的重命名具有可证明的不变性。我们的方法采用并行嵌入流来隔离输入中每个可互换token的贡献，并结合一种聚合注意力机制，该机制支持跨流的结构化信息共享。实验结果证实了我们方法的理论保证，并展示了在需要泛化到新符号的开放词汇任务上的显著性能提升。
引用
@article{arxiv.2601.23169,
title = {Names Don't Matter: Symbol-Invariant Transformer for Open-Vocabulary Learning},
author = {İlker Işık and Wenchao Li},
journal= {arXiv preprint arXiv:2601.23169},
year = {2026}
}