PINNs 中基于残差的注意力及其与信息瓶颈理论的联系
机器学习
2023-07-04 v1 计算物理
摘要
受对物理模型与数据更高效、无缝集成的需求驱动，物理信息神经网络（PINNs）近年来引起了广泛关注。然而，确保其收敛性和精度的可靠性仍是一项挑战。在这项工作中，我们提出了一种高效、无需梯度的 PINNs 加权方案，可加速动态或静态系统的收敛。这种简单而有效的注意力机制是演化累积残差的函数，旨在使优化器以零额外计算成本或对抗学习感知问题区域。我们说明，该通用方法在标准优化器下于文献典型基准案例上一致地达到 量级的相对 误差。此外，通过考察训练过程中权重的演化，我们识别出两个不同的学习阶段，令人联想到信息瓶颈（IB）理论提出的拟合与扩散阶段。随后的梯度分析通过将高到低信噪比（SNR）的过渡与所采用权重从拟合到扩散机制的过渡相对齐，支持了此假设。PINNs 与 IB 理论之间这一新颖关联可为理解 PINNs 乃至更广义神经算子训练与稳定性背后的潜在机制开辟未来可能。
引用
@article{arxiv.2307.00379,
title = {Residual-based attention and connection to information bottleneck theory in PINNs},
author = {Sokratis J. Anagnostopoulos and Juan Diego Toscano and Nikolaos Stergiopulos and George Em Karniadakis},
journal= {arXiv preprint arXiv:2307.00379},
year = {2023}
}