面向控制的视觉潜表征聚类
机器学习
2025-02-07 v4 计算机视觉与模式识别
机器人学
摘要
我们启动了对视觉表征空间——从视觉编码器到动作解码器的信息通道在基于图像的控制管道中几何结构的研究。灵感来源于图像分类(arXiv:2008.08186)中神经坍缩(NC)的现象，我们经验性地证明了类似的聚类规律在视觉表征空间中普遍存在。具体而言，在离散图像基于控制的情况下(例如月球着陆)，视觉表征按自然离散动作标签聚类；在连续图像基于控制的情况下(例如平面推送和积木堆叠)，聚类依据“面向控制”的类别出现，这些类别基于(a)输入中物体与目标之间的相对姿态或(b)由专家动作在输出中诱导的物体相对姿态。每个类别对应一个相对姿态象限(REPO)。除了经验观察外，我们证明，这种聚类规律可作为算法工具，用于在训练仅有有限专家演示的情形下提高测试时性能。特别地，我们采用NC作为正则化项预训练视觉编码器，以鼓励控制导向的视觉特征聚类。令人惊讶的是，经过NC预训练的视觉编码器在动作解码器端到端微调后，测试时性能提升10%至35%。真实世界的视觉基于平面推送实验确认了面向控制的视觉表征预训练的令人惊讶优势。
引用
@article{arxiv.2410.05063,
title = {Control-oriented Clustering of Visual Latent Representation},
author = {Han Qi and Haocheng Yin and Heng Yang},
journal= {arXiv preprint arXiv:2410.05063},
year = {2025}
}
备注
Website: https://computationalrobotics.seas.harvard.edu/ControlOriented_NC