对称幂变换器的共形变换

线性注意力变换器相比基于softmax的变换器具有显著的计算优势，但往往存在性能退化的问题。对称幂（sympow）变换器是一种特殊的线性变换器，通过利用对称张量嵌入来弥补部分性能差距，达到了与softmax变换器相当的性能。然而，sympow变换器中循环状态的有限容量限制了其信息保持能力，导致在扩展训练或评估上下文长度时性能下降。为了解决这一问题，我们提出了共形-sympow变换器，它通过数据依赖的乘性门控动态释放容量，并利用数据依赖的旋转位置编码自适应地存储信息。在LongCrawl64数据集上的初步实验表明，共形-sympow克服了sympow变换器的局限性，在扩展的训练和评估上下文中实现了稳健的性能。