资源紧缺推理与控制的原则

在不确定的世界中，智能体面临的核心挑战之一是，在外部运动以及内部计算方面，都要在效用最大化与资源使用的之间找到恰当的平衡。现有的不确定性控制理论通常将推理视为免费的，尽管它在人工系统和生物系统中所施加的计算和能源负担巨大。为此，我们引入了一种新的POMDP框架的变体，在该框架中，将通过推理获取的信息视为必须与效用一起优化的资源。求解该问题的局部线性-高斯近似问题，揭示了三条资源效率控制的通用原则。第一， 当信息成本较高时，推理将从贝叶斯最优（无损）压缩过去的经验转向有损模式， strategically 留下一些未解决的不确定性以优化资源使用。第二，放宽精确贝叶斯推理的要求会产生一组等效的解决方案，这反映了多种方式将不完美的推理与补偿性控制组合在一起。这种灵活性可用于满足额外的目标或约束，而不会损害对原始任务的性能。第三，除了实现目标之外，控制还可用于抵消估计误差，将系统引导至表示成本更低的 regime。我们经验性地演示了这些原则超越了局部线性-高斯近似，能够解决非线性控制问题，如杆柱平衡和无人机稳定。综上，这些结果建立了一种合理计算的框架，将现有的面向信息受限决策的方法扩展开来，并为理解大脑和机器如何在严格的计算约束下实现有效行为提供了规范性见解。