通过显著性引导特征解相关学习可泛化智能体
人工智能
2023-12-25 v2
摘要
在基于视觉的强化学习（RL）中，智能体往往难以很好地泛化到训练期间未观察到的状态空间中的环境变化。这些变化可能出现在与任务无关的特征（如背景噪声）和与最优决策相关的任务相关特征（如机器人构型）中。为在两种情况下均实现泛化，要求智能体准确理解变化特征对决策的影响，即在策略模型中建立变化特征与决策之间的真实关联。然而，由于状态空间中特征间固有的相关性，特征与决策之间的关联变得纠缠，使策略难以区分它们。为此，我们提出显著性引导特征解相关（SGFD），通过样本重加权消除这些相关性。具体而言，SGFD 包含两项核心技术：随机傅里叶函数（RFF）与显著性图。RFF 用于估计高维图像中复杂的非线性相关性，而显著性图用于识别变化特征。在显著性图引导下，SGFD 采用样本重加权最小化与变化特征相关的估计相关性，从而在视觉 RL 任务中实现解相关。实验结果表明，SGFD 能在广泛测试环境中良好泛化，并在处理任务无关变化与任务相关变化方面显著优于最先进方法。
引用
@article{arxiv.2310.05086,
title = {Learning Generalizable Agents via Saliency-Guided Features Decorrelation},
author = {Sili Huang and Yanchao Sun and Jifeng Hu and Siyuan Guo and Hechang Chen and Yi Chang and Lichao Sun and Bo Yang},
journal= {arXiv preprint arXiv:2310.05086},
year = {2023}
}