信息论 Koopman 表示
机器学习
2026-02-05 v2 系统与控制
系统与控制
摘要
Koopman 算子为建模动力系统提供了强大的框架，已吸引越来越多的机器学习社区关注。然而，其无限维性质使得为深层网络识别合适的有限维子空间具有挑战性，尤其是对于深层网络更为如此。我们认为，这些困难源于次优的表示学习，其中隐变量未能在表达性和简洁性之间取得平衡。这一张力与信息瓶颈 (IB) 困境密切相关：构建既紧凑又具预测性的压缩表示。从这个视角重新思考 Koopman 学习，我们展示了隐变量互信息促进简洁性，但过度强调简洁性可能导致隐空间坍缩到少数主导模式。相比之下，von Neumann 熵保持表达性，防止此类坍缩并鼓励模式多样性。由此，我们提出一种显式平衡此权衡的信息论拉格朗日函数。进一步，我们提出一种基于拉格朗日函数的新算法，鼓励简洁性和表达性并存，导致稳定且可解释的 Koopman 表示。除了定量评估外，我们还可视化了在我们的表示下学习的流形，观察到与理论预测一致的经验结果。最后，我们在多样化的动力系统上验证了该方法，显示出优于现有 Koopman 学习方法的改进性能。该实现已公开于 https://github.com/Wenxuan52/InformationKoopman。
引用
@article{arxiv.2510.13025,
title = {Information Shapes Koopman Representation},
author = {Xiaoyuan Cheng and Wenxuan Yuan and Yiming Yang and Yuanzhao Zhang and Sibo Cheng and Yi He and Zhuo Sun},
journal= {arXiv preprint arXiv:2510.13025},
year = {2026}
}
备注
Published as a conference paper at ICLR 2026