ARES：最优规划的自适应滚动时域综合

我们介绍了ARES，一种用于生成最优规划（动作序列）的高效近似算法，该规划将马尔可夫决策过程（MDP）的初始状态带到一个代价低于指定（收敛）阈值的状态。ARES使用粒子群优化（Particle Swarm Optimization），并对滚动时域和粒子群均采用自适应规模调整。受重要性分裂（Importance Splitting）启发，时域长度和粒子数量的选择使得至少一个粒子到达下一层级状态，即代价相较前一层级状态下降所需delta的状态。状态上的层级关系和由ARES构建的规划分别隐式定义了一个李雅普诺夫函数和一个最优策略，二者均可通过将ARES应用于MDP的所有状态（直至某个拓扑等价关系）而显式生成。我们还通过统计评估ARES生成最优规划的成功率来评判其有效性。ARES算法源于我们欲澄清以V字形编队飞行是否为一种优化能量守恒、清晰视野与速度对齐的集群策略。亦即，我们有兴趣探明是否能找到最优规划将鸟群从任意初始状态带至呈现单一连通V字形编队的状态。对于7只鸟的鸟群，ARES能够在平均63秒内，于8000个随机初始配置中的95%生成导向V字形编队的规划。ARES也可轻松定制为具有自适应滚动时域和统计收敛保证的模型预测控制器（MPC）。据我们所知，我们的自适应规模调整方法是首个在滚动时域技术中提供收敛保证的方法。