面向战斗机飞行员的基于智能体陪练伙伴的自适应训练

当前一代人工决策者的一个关键要求是，它们应能良好地适应意外情况下的变化。本文讨论了一种用于空战格斗的 AI，其行为由可调参数控制，必须针对通过仿真评估和学习的目标函数优化其行为。采用基于高斯过程代理的贝叶斯优化作为研究目标函数的方法。一个关键优势在于，在优化过程中，高斯过程会学习真实目标函数的全局估计，包括对尚未探索区域的预测结果和置信度的统计度量。拥有目标函数的模型对于理解决策空间中可能的结果至关重要；例如，这对于训练人类飞行员并向其提供反馈至关重要。然而，对于高度波动的目标函数，标准贝叶斯优化表现不一致，也无法提供准确的高斯过程代理函数。我们通过引入一种称为混合重复/多点采样的新型采样技术来解决这些问题。该技术使 AI 能够在高度不确定的环境中学习最优行为。更重要的是，它不仅提高了优化的可靠性，还创建了整个目标曲面的更佳模型。借助这一改进的模型，智能体能够更准确/高效地预测未探索场景中的性能。