具有收敛保证的自主搜索探索与利用多步对偶控制
系统与控制
2022-03-15 v1 系统与控制
摘要
受近期提出的探索与利用对偶控制（DCEE）概念启发，本文提出一种具有收敛保证的多步 DCEE（MS-DCEE）框架，用于 airborne dispersion 源的自主搜索。与现有随机模型预测控制（SMPC）算法和 informative path planning（IPP）方法不同，所提 MS-DCEE 方法利用当前与未来输入，不仅驱动智能体朝向估计源位置（利用），还通过主动学习运行环境来降低其估计不确定性（探索）。未知源目标位置与未知环境给所提算法的递归可行性与收敛性证明带来显著挑战。为此，借助贝叶斯估计性质，我们开发了两步法：先假设均值估计的无偏性，再考虑各信息序列下均值估计的随机性。基于此，我们设计了带有合适终端项的 MS-DCEE 方案，保证递归可行性与收敛性。两组仿真场景表明，所提 MS-DCEE 算法在搜索成功率与效率上优于 SMPC、IPP 与单步 DCEE 方法。
引用
@article{arxiv.2203.06440,
title = {Multi-step dual control for exploration and exploitation in autonomous search with convergence guarantee},
author = {Yuan Tan and Jun Yang and Wen-Hua Chen and Shihua Li},
journal= {arXiv preprint arXiv:2203.06440},
year = {2022}
}
备注
4 figures