IIET：基于隐式迭代欧拉方法的高效数值Transformer
机器学习
2025-10-14 v2 计算与语言
摘要
高阶数值方法在自然语言处理和计算机视觉等任务中提升了Transformer的性能，但由于计算开销增加，引入了性能与效率的权衡。我们的分析表明，传统的效率技术（如知识蒸馏）可能对这些模型的性能产生不利影响，PCformer即为典型例子。为了探索更可优化的基于常微分方程的Transformer架构，我们提出了迭代隐式欧拉Transformer（IIET），它使用迭代隐式欧拉方法简化了高阶方法。与PCformer相比，这种简化不仅带来了更优的性能，还促进了模型压缩。为了提升推理效率，我们引入了迭代影响感知蒸馏（IIAD）。通过灵活的阈值，IIAD允许用户有效地平衡性能与效率的权衡。在lm-evaluation-harness基准上，IIET的平均准确率比普通Transformer提高了2.65%，比PCformer提高了0.8%。其高效变体E-IIET在保留原始任务准确率99.4%的同时，显著减少了55%的推理开销。此外，最轻量的IIET变体在速度相当的情况下，平均性能比普通Transformer提升超过1.6%。
引用
@article{arxiv.2509.22463,
title = {IIET: Efficient Numerical Transformer via Implicit Iterative Euler Method},
author = {Xinyu Liu and Bei Li and Jiahao Liu and Junhao Ruan and Kechen Jiao and Hongyin Tang and Jingang Wang and Xiao Tong and Jingbo Zhu},
journal= {arXiv preprint arXiv:2509.22463},
year = {2025}
}