基于时间滞后信息瓶颈的马尔可夫过程潜表示与模拟
机器学习
2024-01-29 v2 人工智能
信息论
math.IT
摘要
马尔可夫过程是各领域描述动态系统的广泛使用的数学模型。然而,由于精确积分所需的短时间步长,在长时间尺度上准确模拟大规模系统计算代价高昂。本文中,我们引入一种推断过程,将复杂系统映射至简化的表示空间并对时间上的大跨度跳跃进行建模。为此,我们提出时间滞后信息瓶颈(T-IB),一种根植于信息论的原则性目标,旨在捕获相关时间特征同时丢弃高频信息,以简化模拟任务并最小化推断误差。我们的实验表明,T-IB学习到信息最优的表示,可在选定时间滞后下准确建模原始过程的统计性质与动力学,优于现有时间滞后降维方法。
引用
@article{arxiv.2309.07200,
title = {Latent Representation and Simulation of Markov Processes via Time-Lagged Information Bottleneck},
author = {Marco Federici and Patrick Forré and Ryota Tomioka and Bastiaan S. Veeling},
journal= {arXiv preprint arXiv:2309.07200},
year = {2024}
}
备注
10 pages, 15 figures, Accepted ICLR 2024