基于二阶差分步长的循环深度Transformer早退出机制
机器学习
2025-11-14 v2
摘要
循环深度Transformer通过在生成标记前迭代潜在计算来扩展推理计算。我们研究这些迭代的几何结构，提出一种简单两尺度的操作图景：（1）在循环块内部，更新充当小尺度细化；（2）在连续块之间，状态发生更大尺度漂移。训练期间的测量显示，循环步骤变小且越来越正交，表明更擅长局部建模精细结构而非单一方向推进。这些动力学激发基于模型阶差分步长的早退出机制，我们证明其在性能、稳定性和时间效率方面均优于Geiping等人基于KL散度的退出策略及其朴素的一阶版本。
关键词
引用
@article{arxiv.2509.23314,
title = {Two-Scale Latent Dynamics for Recurrent-Depth Transformers},
author = {Francesco Pappone and Donato Crisostomi and Emanuele Rodolà},
journal= {arXiv preprint arXiv:2509.23314},
year = {2025}
}