LASER：用于高效递归的低秩激活奇异值分解
机器学习
2026-04-21 v1 机器学习
摘要
诸如微型递归模型（TRMs）等递归架构通过迭代潜在计算执行隐式推理，但这些推理轨迹的几何结构仍知之甚少。我们研究了TRMs在递归展开期间的激活流形，发现激活实际上占据一个有效线性、低维子空间，其主方向可通过廉价的幂迭代进行动态跟踪。这表明权重共享将迭代计算集中于少数几个主导特征方向上，我们发现这种集中在计算位置之间呈现明显变化。我们通过LASER（Low-Rank Activation SVD for Efficient Recursion）——一种动态压缩框架——利用矩阵-free子空间跟踪维持演化的低秩基，采用保真度触发的重置机制，实现约60%的激活内存节省，同时未见显著的准确性退化。我们的分析提出了关于递归架构如何在隐式推理期间分配表征容量的问题，以及这种集中是否可以被利用来提高潜在计算的效率和稳定性。
关键词
引用
@article{arxiv.2604.17224,
title = {LASER: Low-Rank Activation SVD for Efficient Recursion},
author = {Ege Çakar and Ketan Ali Raghu and Lia Zheng},
journal= {arXiv preprint arXiv:2604.17224},
year = {2026}
}
备注
Accepted to the Latent and Implicit Thinking Workshop at ICLR 2026