见林不见树：大规模时空决策
人工智能
2012-05-14 v1
摘要
我们提出了一个具有挑战性的现实世界规划问题，其中必须在每个时间点于空间区域的每个位置采取行动。我们以林业规划作为激励应用。在大规模时空（Large Scale Spatial-Temporal, LSST）规划问题中，状态空间和动作空间被定义为分布在广阔空间区域（如城市或森林）的许多局部状态和动作空间的笛卡尔积。这些问题具有状态不确定性，拥有涉及空间约束的复杂效用函数，且我们通常必须依赖模拟而非显式的转移模型。我们将 LSST 问题定义为强化学习问题，并提出了一种使用策略梯度的解决方案。我们比较了两种不同的策略表述：一种显式策略，识别空间中的每个位置及其应采取的动作；另一种抽象策略，定义在所有空间位置上采取动作的比例。我们表明，抽象策略比基本策略更稳健，并且以更少的参数实现了更高的奖励。这种抽象策略也更符合 LSST 问题领域的从业者对此类方法广泛实用所要求的属性。
引用
@article{arxiv.1205.2651,
title = {Seeing the Forest Despite the Trees: Large Scale Spatial-Temporal Decision Making},
author = {Mark Crowley and John Nelson and David L Poole},
journal= {arXiv preprint arXiv:1205.2651},
year = {2012}
}
备注
Appears in Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence (UAI2009)