从闭环数据中恢复 Markov 模型
最优化与控制
2020-11-11 v4
摘要
使用推荐系统来辅助决策的情形在许多应用领域中正变得日益普遍。几乎总是，这些预测工具（推荐器）的创建都是为了影响行为改变。显然，成功促进行为改变的应用会影响支撑预测器的原始模型，从而导致不一致性。这种反馈循环在依赖机器学习/统计学习机制的标准所谓大数据学习技术中通常未被考虑。本文的目标是开发在存在推荐器的情况下恢复无偏用户模型的工具。更具体地说，我们假设观测到一个时间序列，它是受另一个 Markov 链 调制的 Markov 链 的轨迹，即 的转移矩阵是未知的且取决于 的当前状态。后者的转移矩阵也是未知的。换言之，在每个时刻， 从一个包含已知和未知矩阵的给定集合中为 选择一个转移矩阵。而 的状态又取决于 的当前状态，从而引入了反馈循环。我们提出了一种期望最大化（EM）类型的算法，用于估计 和 的转移矩阵。给出了实验结果以证明该方法的有效性。
引用
@article{arxiv.1706.06359,
title = {Recovering Markov Models from Closed-Loop Data},
author = {Jonathan P. Epperlein and Robert Shorten and Sergiy Zhuk},
journal= {arXiv preprint arXiv:1706.06359},
year = {2020}
}