基于有效状态规模量化记忆利用
机器学习
2025-04-29 v1
摘要
鉴于序列模型设计空间的不断扩大, 开发用于架构分析的通用框架需求日益增长。为此, 我们借鉴经典信号处理和控制理论, 发展一种量化度量记忆利用的方法: 模型通过内部机制存储过去信息以产生未来输出的过程。我们称其为\textbf{有效状态规模} (ESS)。该度量针对具有输入不变性和输入可变线性算子的基本系统类别, 包含注意力机制、卷积和循环变体等多种计算单元。与先前关于记忆利用的工作不同, 后者要么依赖原始算子可视化(如注意力图), 要么仅考虑模型的总记忆容量(即缓存大小)。我们的度量提供高度可解释且可操作的测量。具体而言, 我们展示了如何利用ESS改进初始化策略, 以信息正则化指导新创意, 并通过模型蒸馏推进性能-效率前沿。此外, 我们演示了上下文分隔符(如结束语音令牌)对ESS的影响揭示了大型语言模型在利用可用记忆以 Recall 信息方面的跨架构差异。总体而言, 我们发现ESS为决定记忆利用动态的因素提供了宝贵洞察, 使我们能够设计更高效和更有效的序列模型。
引用
@article{arxiv.2504.19561,
title = {Quantifying Memory Utilization with Effective State-Size},
author = {Rom N. Parnichkun and Neehal Tumma and Armin W. Thomas and Alessandro Moro and Qi An and Taiji Suzuki and Atsushi Yamashita and Michael Poli and Stefano Massaroli},
journal= {arXiv preprint arXiv:2504.19561},
year = {2025}
}