基于后继特征的非单一化无监督预训练：解耦探索与开发
机器学习
2024-05-07 v1 人工智能
摘要
无监督预训练一直寻求一种称为后继特征（SFs）的价值函数表示，其能够将环境动力学与奖励解耦。由于这种分解，SFs具有显著的影响力于特定任务的微调过程。然而，现有方法由于统一的探索与开发内在奖励，未能考虑线性回归问题以及支持小技能空间的判别器，导致易陷入局部最优。我们提出一种基于SFs的非单一化无监督预训练模型。该方法致力于基于SFs的代理人开发和探索的解耦，要求为各自目的分别构建代理人。该想法不仅利用SFs的固有特征，如对新任务的快速适应能力，还利用其探索和任务无关的能力。我们称其为基于后继特征的非单一化无监督预训练（NMPS），该方法在比较实验中优于基于SFs的单一化探索预训练方法（APS）。
引用
@article{arxiv.2405.02569,
title = {Decoupling Exploration and Exploitation for Unsupervised Pre-training with Successor Features},
author = {JaeYoon Kim and Junyu Xuan and Christy Liang and Farookh Hussain},
journal= {arXiv preprint arXiv:2405.02569},
year = {2024}
}
备注
IJCNN 2024