只管聚类：一种在高维环境中利用聚类和预训练表征进行探索的方法
机器学习
2024-08-16 v2 人工智能
摘要
在本文中，我们采用以表征为中心的视角来看待强化学习中的探索问题，将探索从根本上视为一个密度估计问题。基于在3D环境中，像素在状态转换间的变化重要性不如在2D环境中那么明显（在2D环境中，像素在状态转换间的变化通常是明显且显著的）这一观察，我们研究了聚类表征在3D环境中进行探索的有效性。我们提出了一种方法，该方法对随机表征和预训练的DINO表征进行回合式和全局聚类，以计数状态，即估计伪计数。令人惊讶的是，在3D环境中，即使随机特征也能被有效聚类以计数状态，然而当这些环境在视觉上变得更复杂时，预训练的DINO表征由于其在表征中的预训练归纳偏置而更有效。总体而言，这为将预训练偏置整合到探索中提供了一条途径。我们在VizDoom 和Habitat 环境上评估了我们的方法，证明我们的方法在这些设置中超越了其他知名的探索方法。
引用
@article{arxiv.2402.03138,
title = {Just Cluster It: An Approach for Exploration in High-Dimensions using Clustering and Pre-Trained Representations},
author = {Stefan Sylvius Wagner and Stefan Harmeling},
journal= {arXiv preprint arXiv:2402.03138},
year = {2024}
}
备注
Accepted at the International Conference On Machine Learning (ICML) 2024