利用后继特征键盘组合行为
人工智能
2023-10-25 v1 机器学习
摘要
选项键盘（OK）最近被提出作为一种跨任务迁移行为知识的方法。OK 通过利用后继特征（SFs）和广义策略改进（GPI）自适应地组合已知行为的子集来迁移知识。然而，它依赖于手工设计的状态特征和任务编码，为每一个新环境设计这些内容是繁琐的。在这项工作中，我们提出了“后继特征键盘”（SFK），它利用被发现的状态特征和任务编码实现迁移。为了实现发现，我们提出了“类别型后继特征近似器”（CSFA），一种在联合发现状态特征和任务编码的同时估计 SFs 的新型学习算法。借助 SFK 和 CSFA，我们首次展示了在具有挑战性的 3D 环境中利用 SFs 进行迁移，其中所有必要的表示都是被发现的。我们首先将 CSFA 与其他近似 SFs 的方法进行比较，并表明只有 CSFA 在此规模上发现了与 SF&GPI 兼容的表示。然后我们将 SFK 与迁移学习基线进行比较，并表明它向长视野任务的迁移最为迅速。
引用
@article{arxiv.2310.15940,
title = {Combining Behaviors with the Successor Features Keyboard},
author = {Wilka Carvalho and Andre Saraiva and Angelos Filos and Andrew Kyle Lampinen and Loic Matthey and Richard L. Lewis and Honglak Lee and Satinder Singh and Danilo J. Rezende and Daniel Zoran},
journal= {arXiv preprint arXiv:2310.15940},
year = {2023}
}
备注
NeurIPS 2023