利用信息论理解自编码器在刚性动力系统中的作用
机器学习
2025-03-11 v1 计算物理
摘要
利用信息论，本研究深入探讨了如何通过深度神经网络（DNN）训练构建自编码器（AE）的潜在空间，从而在刚性动力系统中找到一个平滑的低维流形。我们最近的研究[1]报告称，将自编码器（AE）与神经常微分方程（NODE）结合作为刚性化学反应系统积分的代理降阶模型（ROM），导致了时间刚性的显著降低，并且该行为归因于AE的非线性投影对慢不变流形的识别。本工作通过采用信息论和更好混合的概念，提供了对该机制的基本理解。通过绘制互信息的演化并识别出两个不同的阶段，解释了编码器和解码器的学习机制。随后，绘制了物理变量和潜在变量的密度分布，显示了物理空间中的稀有事件在非线性自编码器提供的潜在空间中转变为极可能（更高概率）事件的过程。最后，利用信息论和概率的概念解释了导致密度重新分布的非线性变换。
引用
@article{arxiv.2503.06325,
title = {Understanding the role of autoencoders for stiff dynamical systems using information theory},
author = {Vijayamanikandan Vijayarangan and Harshavardhana A. Uranakara and Francisco E. Hernández-Pérez and Hong G. Im},
journal= {arXiv preprint arXiv:2503.06325},
year = {2025}
}