无穷学习: 从聚合稳态观测中学习马尔可夫链
机器学习
2020-02-18 v1 机器学习
摘要
我们考虑在无需序列样本的情况下学习参数化连续时间马尔可夫链(Continuous Time Markov Chain, CTMC)序列模型的任务, 其训练数据完全由聚合稳态统计组成。使问题更困难的是, 我们假设希望预测的状态在训练数据中未被观测到。具体地, 给定 CTMC 转移率的参数化模型及某些已知转移率, 我们希望将其稳态分布外推到未观测到的状态。从稳态学习 CTMC 的一个技术障碍是: 计算梯度的链式法则无法在达到稳态所需的任意长序列上生效——聚合统计正是由稳态采样得到。为克服该优化挑战, 我们提出 -SGD, 一种有原则的随机梯度下降方法, 它使用随机停止估计量来避免稳态计算所需的无穷和, 并能在仅可观测 CTMC 状态子集时学习。我们将 -SGD 应用于真实世界测试平台与合成实验, 展示了其准确性、在未见条件(重负载, 而训练于轻负载下)下将稳态分布外推至未观测状态的能力, 以及在即便量身定制的现有方法扩展也失败的困难场景中取得成功。
引用
@article{arxiv.2002.04186,
title = {Infinity Learning: Learning Markov Chains from Aggregate Steady-State Observations},
author = {Jianfei Gao and Mohamed A. Zahran and Amit Sheoran and Sonia Fahmy and Bruno Ribeiro},
journal= {arXiv preprint arXiv:2002.04186},
year = {2020}
}