中文

基于 Bregman 学习的 PDE 求解数据稀疏化降维

数值分析 2024-06-19 v1 人工智能 数值分析 机器学习

摘要

经典模型降维技术将控制方程投影到原状态空间的线性子空间中。更近期的数据驱动技术则利用神经网络实现非线性投影。虽然这些方法常能实现更强的压缩,但可能存在冗余参数,导致潜在维度次优。为克服此问题,我们提出一种多步骤算法,通过 Bregman 学习诱导编码器-解码器网络中的稀疏性,从而有效减少参数数量并进一步压缩潜在空间。该算法从稀疏初始化网络开始,使用线性化 Bregman 迭代进行训练。这些迭代在计算机视觉和压缩感知任务中取得了显著成功,但迄今尚未用于简化模型。训练后,我们采用恰当正交分解(POD)进一步压缩潜在空间维度。最后,我们采用偏置传播技术将诱导的稀疏性转化为有效的参数减少。我们将该算法应用于三个代表性 PDE 模型:1D 扩散、1D 输运和 2D 反应扩散。与常规训练方法(如 Adam)相比,所提方法在相同精度下仅使用 30% 参数,潜在空间显著减小。

关键词

引用

@article{arxiv.2406.12672,
  title  = {Sparsifying dimensionality reduction of PDE solution data with Bregman learning},
  author = {Tjeerd Jan Heeringa and Christoph Brune and Mengwu Guo},
  journal= {arXiv preprint arXiv:2406.12672},
  year   = {2024}
}

备注

27 pages, 20 figures, 4 tables