基于弱SINDy的流式科学数据压缩
机器学习
2024-10-04 v2 动力系统
摘要
本文开发了一种专门用于压缩流式科学数据的流式弱SINDy算法。无论是通过模拟还是实验产生的科学数据,都正处于指数增长阶段,这使得数据压缩对于存储和利用大型科学数据集变得重要且常常必要。与在现成数据集上执行压缩的经典“离线”压缩算法不同,流式压缩算法在数据仍从模拟或实验流经系统时“在线”压缩数据。这一特性使流式压缩算法非常适合于科学数据压缩,因为离线存储完整数据集通常不可行。本文提出了一种新的流式压缩算法——流式弱SINDy,它在压缩过程中利用了底层数据特征。流式弱SINDy算法通过流式积分方法在在线阶段以节省内存的方式构建特征矩阵和目标向量。随后在离线阶段使用这些特征矩阵和目标向量,通过回归过程建立模型,旨在恢复支配数据演化的方程。为压缩高维流式数据,我们采用流式本征正交分解(POD)过程来降低数据维度,然后使用流式弱SINDy算法压缩POD展开的时间数据。我们提出了对流式弱SINDy算法的改进,以适应动态更新的POD基。如数值测试所示,通过结合流式弱SINDy算法建立的模型与少量数据样本,可以以低内存成本准确重建完整数据流。
引用
@article{arxiv.2308.14962,
title = {Streaming Compression of Scientific Data via weak-SINDy},
author = {Benjamin P. Russo and M. Paul Laiu and Richard Archibald},
journal= {arXiv preprint arXiv:2308.14962},
year = {2024}
}