通过梯度流实现显式且数据高效的编码
机器学习
2025-01-07 v2 人工智能
机器学习
最优化与控制
计算物理
摘要
自编码器模型通常使用编码器将数据映射到低维潜在空间，再使用解码器进行重构。然而，依赖编码器进行反向映射可能导致次优表征，尤其在物理科学中尤为关键，因为该领域对精度要求高。我们引入一种仅使用解码器通过梯度流直接将数据编码到潜在空间的方法，潜在空间由普通微分方程组（ODE）定义。该方法消除了对近似编码器反向映射的需求。我们通过共轭方法训练解码器，证明在损失精度几乎不变的情况下可避免昂贵的积分计算。此外，我们提出一种二阶ODE变体，近似拟牛顿加速梯度下降以实现更快的收敛。为处理刚性ODE，我们使用自适应求解器，优先考虑损失最小化，从而提高鲁棒性。与传统自编码器相比，我们的方法实现了显式编码和卓越的数据效率，这在物理科学中数据稀缺的场景中至关重要。进一步地，这一工作为将机器学习集成到科学工作流程中铺平了道路，因为精确且高效的编码在该领域至关重要。\footnote{The code for this work is available at \url{https://github.com/k-flouris/gfe}.}
引用
@article{arxiv.2412.00864,
title = {Explicit and data-Efficient Encoding via Gradient Flow},
author = {Kyriakos Flouris and Anna Volokitin and Gustav Bredell and Ender Konukoglu},
journal= {arXiv preprint arXiv:2412.00864},
year = {2025}
}
备注
Machine Learning and the Physical Sciences Workshop, NeurIPS 2024. arXiv admin note: text overlap with arXiv:2105.05031