基于预测双态同义性度量的任务感知探索
人工智能
2026-02-24 v1
摘要
在奖励稀疏的视觉强化学习中加速探索仍具有挑战性，由于大量与任务无关的变异。尽管内在探索方法取得了进展，但许多方法要么假设可获得低维状态，要么缺乏任务感知的探索策略，从而在视觉域中显得脆弱。为弥合此差距，我们提出TEB（Task-aware Exploration，任务感知探索），通过预测双态同义性度量紧密耦合任务相关表征与探索。具体而言，TEB利用该度量不仅学习基于行为的任务表征，还测度在所学潜在空间上基于行为的内在新颖性。为实现此目标，我们首先通过在奖励稀疏下引入简单的但有效的预测奖励差分来缓解退化双态度量的表示塌陷。在此稳健的度量基础上，我们设计基于潜在空间上相邻观察相对新颖性的潜在奖励探索奖励。广泛的MetaWorld和Maze2D实验表明，TEB在探索能力方面取得优异成绩，并优于最近的基线方法。
引用
@article{arxiv.2602.18724,
title = {Task-Aware Exploration via a Predictive Bisimulation Metric},
author = {Dayang Liang and Ruihan Liu and Lipeng Wan and Yunlong Liu and Bo An},
journal= {arXiv preprint arXiv:2602.18724},
year = {2026}
}