调节状态空间模型的频率偏置
机器学习
2024-10-04 v1 机器学习
摘要
状态空间模型 (SSM) 利用线性时不变 (LTI) 系统来有效地学习具有长程依赖关系的序列。通过分析 LTI 系统的传递函数，我们发现 SSM 在捕获低频分量方面比捕获高频分量更有效。这一行为与深度学习模型训练中更广泛的频率偏置概念相吻合。我们指出，SSM 的初始化会赋予其固有的频率偏置，而常规训练方式并不会改变这一偏置。基于我们的理论，我们提出两种调节频率偏置的机制：一种是通过缩放初始化来调节天生的频率偏置；另一种是应用基于 Sobolev 范数的滤波器来调整梯度对高频输入的敏感性，从而通过训练改变频率偏置。使用图像去噪任务，我们在实证上表明，仅凭这两种机制即可加强、削弱甚至反转 SSM 的频率偏置。通过调节频率偏置，我们还能提高 SSM 在学习长程序列方面的性能，在 Long-Range Arena (LRA) 基准任务中平均获得 88.26% 的准确率。
关键词
引用
@article{arxiv.2410.02035,
title = {Tuning Frequency Bias of State Space Models},
author = {Annan Yu and Dongwei Lyu and Soon Hoe Lim and Michael W. Mahoney and N. Benjamin Erichson},
journal= {arXiv preprint arXiv:2410.02035},
year = {2024}
}