在干扰因素存在下，潜在动作学习需要监督
计算机视觉与模式识别
2025-06-13 v5 人工智能
机器学习
摘要
最近，由潜在动作策略（LAPO）开创的潜在动作学习在仅使用观察数据的情况下展现出惊人的预训练效率，为利用网络上大量视频资源提供了潜在的embodiedAI应用。然而，先前的工作集中于无干扰因素的数据，其中观察之间的变化主要由真实动作解释。不幸的是，现实世界的视频包含可能干扰潜在动作学习的动作相关干扰因素。我们使用Distracting Control Suite（DCS）经验性地研究了干扰因素对潜在动作学习的影响，并表明LAPO在此类情境下难以应对。我们提出了LAOM（Latent Action with Observation Modification），一种简单的LAPO修改方案，通过线性探针测度，使潜在动作质量提升了8倍。重要的是，我们表明在潜在动作学习期间提供约2.5%完整数据集的监督，即可使下游性能平均提升4.2倍。我们的发现表明，在干扰因素存在时，将监督信息集成到潜在动作模型（LAM）的训练中至关重要，这挑战了通常的管道：先学习LAM，然后仅从潜在表示解码到真实动作。
引用
@article{arxiv.2502.00379,
title = {Latent Action Learning Requires Supervision in the Presence of Distractors},
author = {Alexander Nikulin and Ilya Zisman and Denis Tarasov and Nikita Lyubaykin and Andrei Polubarov and Igor Kiselev and Vladislav Kurenkov},
journal= {arXiv preprint arXiv:2502.00379},
year = {2025}
}
备注
ICML 2025, Poster, Project Page: https://laom.dunnolab.ai/, Source code: https://github.com/dunnolab/laom