1000 层网络用于自监督强化学习：深度可启用新的目标到达能力
机器学习
2026-02-03 v4 人工智能
摘要
Scaling up self-supervised learning 已在语言和视觉领域驱动突破，然而在强化学习（reinforcement learning, RL）中，类似的进展仍显得不为人知。本文研究自监督 RL 的构建模块，以解锁规模性的显著提升， network depth 作为关键因素。虽然近年来大多数 RL 论文依赖浅层架构（约 2 - 5 层），但我们表明，将深度增加至 1024 层可显著提升性能。我们的实验在无监督 goal-conditioned setting 中进行，即不提供演示或奖励，智能体必须从头开始探索并学习如何 maximize 到达 command 目标的可能性。针对模拟 locomotion 和 manipulation 任务进行评估，我们的方法使 self-supervised 对比学习算法的性能提升 - ，超越其他 goal-conditioned baseline。增加模型深度不仅提高 success rate，还在所学行为上产生质变。项目网页和代码可在 https://wang-kevin3290.github.io/scaling-crl/ 查找。
引用
@article{arxiv.2503.14858,
title = {1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities},
author = {Kevin Wang and Ishaan Javali and Michał Bortkiewicz and Tomasz Trzciński and Benjamin Eysenbach},
journal= {arXiv preprint arXiv:2503.14858},
year = {2026}
}
备注
Link to project website: https://wang-kevin3290.github.io/scaling-crl/