循环Transformer表达力分析：理论分析与通过时间步编码增强

循环Transformer在参数效率、计算能力和推理任务的泛化能力方面提供了优势。然而，其关于函数逼近的表达力仍未得到充分探索。本文通过定义序列到序列函数的连续性模，建立了循环Transformer的逼近率。这揭示了循环结构的局限性，即分析促使为每个循环添加比例参数，基于时间步编码。实验验证了理论结果，表明增加循环次数可提升性能，通过时间步编码进一步获得额外收益。