进化深度神经网络的低秩适应：用于高效学习时间依赖偏微分方程
机器学习
2025-09-23 v1 机器学习
摘要
我们研究了用于加速时间依赖偏微分方程(PDE)数值求解器的进化深度神经网络(EDNN)框架。我们引入了低秩进化深度神经网络(LR-EDNN)，通过对参数演化施加低秩子空间约束，从而在保持解的准确性的同时降低了训练的有效维度。低秩切向子空间由当前网络权重的奇异值分解(SVD)按层定义， resulting 的更新通过求解该子空间内的良定义且可处理的线性系统获得。该设计在不要求对所有网络权重进行完整微调的前提下，将参数高效的 EDNN 组件增强到底层数值求解器中。我们在代表性 PDE 问题上评估了 LR-EDNN，并将其与相应的基线进行比较。在各种情况下，LR-EDNN 在可比准确性方面实现了显著减少的可训练参数数量和降低的计算成本。这些结果表明，对参数速度施加低秩约束而非完整空间更新，为可扩展、高效且可重复的科学机器学习 PDE 之路提供了实用路径。
引用
@article{arxiv.2509.16395,
title = {Low-Rank Adaptation of Evolutionary Deep Neural Networks for Efficient Learning of Time-Dependent PDEs},
author = {Jiahao Zhang and Shiheng Zhang and Guang Lin},
journal= {arXiv preprint arXiv:2509.16395},
year = {2025}
}
备注
17 pages