深度想象是在有限资源下大型决策树规划中接近最优的策略
机器学习
2021-04-14 v1 机器学习
神经元与认知
摘要
许多决策涉及在又深又宽的决策树中选择不确定的行动序列，例如计划去异国度假时。在这些情况下，由于可能性众多且可用于决策的时间或计算资源有限，对最佳行动序列的穷举搜索不可行。因此，规划智能体需要权衡广度（在树的每一层探索许多行动）与深度（探索树中的许多层），以最优地分配其有限的搜索能力。我们针对一次性将有限采样能力分配给大型决策树的问题，提供了高效解析解与数值分析。我们发现，一般而言最优策略是每层分配少量样本，从而能够到达深层，即偏好深度而非广度搜索。相反，在贫瘠环境和低能力下，广泛采样分支而不深入采样是最佳的，尽管该策略仅比深度分配略优。我们的结果为深度想象用于规划的 optimality 提供了理论基础，并表明它是一种普遍有效的启发式方法，可能源于认知系统有限约束的演化。
引用
@article{arxiv.2104.06339,
title = {Deep imagination is a close to optimal policy for planning in large decision trees under limited resources},
author = {Ruben Moreno-Bote and Chiara Mastrogiuseppe},
journal= {arXiv preprint arXiv:2104.06339},
year = {2021}
}