用于语言建模的迭代分段仿射（IPA）近似

在这项工作中，我们展示了一阶泰勒展开在近似一般函数 $F: R^{n \times m} \to R^{n \times m}$ 并用于语言建模中的应用。为增强基本泰勒展开，我们引入了迭代与分段建模，从而将算法命名为迭代分段仿射（IPA）近似。最终算法表现出与 Transformer 解码器架构有趣的相似性。通过比较 IPA 与 Transformer 中的参数排布，我们观察到性能惊人地相似，在较短序列长度下以交叉熵损失的下一词预测任务中，IPA 以 1.5\% 优于 Transformer。