SpectraLDS：线性动力系统的可证明蒸馏
机器学习
2025-05-26 v1 最优化与控制
摘要
我们提出了首个可证明的方法，用于识别对称线性动力系统（LDS），其精度保证独立于系统的状态维度或有效记忆。我们的方法建立在近期工作的基础上，该工作将对称LDS表示为可通过固定谱变换学习的卷积。我们展示了如何反转该表示，从而从谱变换中恢复LDS模型，并得到一个端到端的凸优化过程。该蒸馏方法在保持预测精度的同时，实现了每个token的常数时间和常数空间推理，且独立于序列长度。我们将我们的方法SpectraLDS作为序列预测架构中的一个组件进行评估，并证明在语言建模等任务上精度得以保持的同时推理效率得到了提升。
引用
@article{arxiv.2505.17868,
title = {SpectraLDS: Provable Distillation for Linear Dynamical Systems},
author = {Devan Shah and Shlomo Fortgang and Sofiia Druchyna and Elad Hazan},
journal= {arXiv preprint arXiv:2505.17868},
year = {2025}
}