从特征值洞察序列模型的任务层次
机器学习
2025-10-13 v1 人工智能
系统与控制
系统与控制
摘要
虽然 Softmax 注意力驱动了序列模型的前沿性能，但其二次复杂度限制了可扩展性，促使线性替代方案如状态空间模型 (SSM) 成为可能。虽然这些替代方案提高了效率，但它们在信息处理方面的根本差异仍不完全了解。本文利用最近提出的动力系统框架将 Softmax、Norm 和线性注意力表示为动力系统，从而通过分析其各自的特征谱，使其能够以结构化方式与 SSM 进行比较。由于特征值捕捉了动力系统行为的关键方面，我们进行了跨 diverse 序列模型和基准的广泛经验分析。我们首先表明特征值影响了记忆和长程依赖建模的关键方面，揭示了与任务需求相匹配的谱特征。基于这些见解，我们进一步研究了序列模型中的架构修改如何影响特征谱和任务性能。这一对应关系进一步强化了将特征值分析作为解释、理解以及最终改进序列模型能力的度量标准的地位。
引用
@article{arxiv.2510.09379,
title = {Task-Level Insights from Eigenvalues across Sequence Models},
author = {Rahel Rickenbach and Jelena Trisovic and Alexandre Didier and Jerome Sieber and Melanie N. Zeilinger},
journal= {arXiv preprint arXiv:2510.09379},
year = {2025}
}