用于机器人搜索与探索的观测增强型上下文多臂赌博机

我们提出了一种新的上下文多臂赌博机（CMAB）变体，称为观测增强型CMAB（OA-CMAB），其中机器人利用来自外部信息源（例如人类）的额外结果观测。在OA-CMAB中，外部观测是上下文特征的函数，因此在观察到的选项结果之上提供证据以推断隐藏参数。然而，如果外部数据容易出错，则必须采取措施来保持推断的正确性。为此，我们基于最近发展的概率语义数据关联技术，为OA-CMAB推导了一个鲁棒的贝叶斯推断过程，该过程处理复杂的混合模型参数先验和语义外部数据源的混合离散-连续观测似然。为了应对OA-CMAB中的组合不确定性，我们还推导了一种新的基于近似期望自由能最小化的主动推断算法，用于最优选项选择。这通过考虑错误观测和非高斯分布，推广了先前关于CMAB主动推断的工作。模拟深空搜索选址问题的结果表明，即使外部提供了不正确的语义观测（例如由科学家提供），在多种条件下仍能实现高效决策和鲁棒的参数推断。