一种用于动态噪声背景中优化视觉搜索策略的深度 Q-learning 方法

人类以不同分辨率处理视觉信息（中央凹视觉系统），并通过眼动将高分辨率中央凹定向至感兴趣点来探索图像。利用任务相关信息完整知识的贝叶斯理想搜索者（IS）优化了眼动策略并达到最优搜索性能。IS 可作为评估人类眼动最优性的重要工具，并潜在地提供改进人类观察者视觉搜索策略的指导。Najemnik 和 Geisler（2005）推导了用于空间 1/f 噪声背景的 IS。相应的模板响应服从高斯分布，且最优搜索策略可解析确定。然而，当考虑更真实复杂的背景（如医学图像）时，IS 的计算可能难以处理。现代强化学习方法已成功应用于获取多种任务的最优策略，其不需要背景生成函数的完整知识，并潜在地可应用于解剖学背景。重要第一步是验证强化学习方法的最优性。在本研究中，我们考察了一种采用 Q 网络逼近 IS 的强化学习方法的能力。我们证明对应于 Q 网络的搜索策略与 IS 搜索策略一致。该发现展示了带 Q 网络的强化学习方法在真实解剖学背景上估计最优眼动规划的潜力。