状态表征学习中的最大流形容量表征
机器学习
2024-05-24 v1
摘要
基于流形的自监督学习（SSL）研究的不断拓展建立在流形假设（manifold hypothesis）之上，该假设认为高维数据固有的复杂性可以通过低维流形嵌入来破解。借此，DeepInfomax配合不平衡图谱（DIM-UA）已成为强大的工具，为强化学习中的状态表征产生成绩显著。与此同时，最大流形容量表征（MMCR）代表了SSL的新前沿，通过流形压缩优化类别可分性。然而，MMCR需要大量输入视图，导致计算成本高昂和预训练时间延长。为填补这一差距，本文提出一种创新性地将MMCR集成到现有SSL方法中的做法，纳入精细的正则化策略，以提升信息相互信息的下界。我们还提出一种扩展DIM-UA的新型状态表征学习方法，嵌入核范数损失以强制流形一致性。实验在Atari标注RAM接口上进行，我们的方法在相同目标编码维数下显著优于DIM-UA。平均F1分数达到78%，而DIM-UA为75%。在SimCLR和Barlow Twins上也实现了显著提升。这支持我们的SSL创新作为一种范式转变，使更细致的高维数据表征成为可能。
关键词
引用
@article{arxiv.2405.13848,
title = {Maximum Manifold Capacity Representations in State Representation Learning},
author = {Li Meng and Morten Goodwin and Anis Yazidi and Paal Engelstad},
journal= {arXiv preprint arXiv:2405.13848},
year = {2024}
}