IntSeqBERT：通过模谱嵌入学习 OEIS 中的算术结构

OEIS 中的整数序列从单个位数常数到惊人阶乘和指数不等值，使得标准标记化模型难以处理超出词汇表的值或利用周期算术结构。我们提出IntSeqBERT，这是一种用于 OEIS 上掩码整数序列建模的双流 Transformer 编码器。每个序列元素沿两个互补轴进行编码：连续对数规模嵌入和针对100个剩余模（模$2$--$101$）的正弦/余弦嵌入，通过 FiLM 融合。三个预测头（规模回归、符号分类和100个模的预测）在274,705个 OEIS 序列上联合训练。在大规模模型（91.5M 参数）下，IntSeqBERT 在测试集上实现95.85% 的规模准确率和50.38% 的平均模准确率（MMA），分别比标准标记化 Transformer 基线提高了+8.9 个百分点和+4.5 个百分点。去除模流的消融实验确认其为 MMA _gain 贡献了+15.2 个百分点，并为规模准确率额外贡献+6.2 个百分点。基于概率中国剩余定理（CRT）的求解器将模型预测转换为具体整数，使下一项预测相对于标记化-Transformer 基线提升了7.4倍（Top-1: 19.09% vs. 2.59%）。模谱分析揭示了正规化信息增益（NIG）与欧拉全函数比$\varphi(m)/m$之间存在强负相关（$r = -0.851$, $p < 10^{-28}$），提供了复合模通过 CRT 聚合捕获 OEIS 算术结构更高效的实证证据。