T-SHRED：基于Transformer浅层循环解码器的符号回归用于正则化与模型发现
机器学习
2025-12-12 v3
摘要
SHallow REcurrent Decoders（SHRED）因其轻量级和高效计算特性，适用于从稀疏传感器测量中进行系统识别与预测。这些模型依赖于循环神经网络（RNN）和简单的多层感知机（MLP），分别用于时序编码和空间解码。尽管SHRED结构相对简单，却能直接从稀疏传感器测量数据预测不同物理、空间和时间尺度上的混沌动力系统。在本工作中，我们采用transformer（T-SHRED）嵌入符号回归，用于时序编码，规避物理数据在自回归长期预测中的限制。这通过一种新的稀疏非线性动力学识别（SINDy）注意力机制引入T-SHRED，以在潜在空间上施加稀疏正则化，同时实现即时符号解释。符号回归通过学习和正则化潜在空间的动力学，提高了模型可解释性。我们在三个不同动力系统上评估了T-SHRED的性能，涵盖从低数据到高数据的不同数据规模。
关键词
引用
@article{arxiv.2506.15881,
title = {T-SHRED: Symbolic Regression for Regularization and Model Discovery with Transformer Shallow Recurrent Decoders},
author = {Alexey Yermakov and David Zoro and Mars Liyao Gao and J. Nathan Kutz},
journal= {arXiv preprint arXiv:2506.15881},
year = {2025}
}
备注
17 pages, 5 figures, submitted to Transactions of the Royal Society (Symbolic Regression in the Physical Sciences)