面向概率规划的 Bellman 误差特征自动归纳
人工智能
2014-01-17 v1
摘要
特定领域特征在机器学习与决策论规划的整个过程中对于表示问题结构具有重要作用。在规划中，一旦提供了状态特征，诸如近似值迭代等领域无关算法便可以学习这些特征的加权组合，这些组合通常能很好地作为状态价值的启发式估计（例如，到目标的距离）。在真实世界领域中的成功应用通常需要由人类专家精心构造的特征。在此，我们提出了自动学习有用的特定领域特征集的过程，只需极少或无需人工干预。我们的方法在近似值迭代期间选择并添加描述 Bellman 方程中高不一致性状态空间区域的特征（逐状态 Bellman 误差）。我们的方法可以使用任何实值特征假设空间及相应的从状态-值对训练集中选择特征的学习方法来应用。我们使用由关系特征语言和命题特征语言定义的假设空间，在九个概率规划领域对该方法进行了评估。我们表明，使用关系特征空间的近似值迭代在领域无关的随机关系规划中达到了 SOTA。我们的方法提供了首个成功玩俄罗斯方块（无需人工构造特征）的领域无关方法。
引用
@article{arxiv.1401.3847,
title = {Automatic Induction of Bellman-Error Features for Probabilistic Planning},
author = {Jia-Hong Wu and Robert Givan},
journal= {arXiv preprint arXiv:1401.3847},
year = {2014}
}