融入模拟空间上下文信息提升对比学习模型的有效性
计算机视觉与模式识别
2024-03-28 v2 人工智能
摘要
视觉学习通常发生在特定上下文中，智能体通过在一致环境中探索和跟踪其位置来获取技能。智能体的历史空间上下文为自监督对比学习提供了相似性信号。我们提出了一种独特的方法，称为环境空间相似性（ESS），它补充了现有的对比学习方法。使用来自模拟、逼真环境的图像作为实验设置，我们证明ESS优于传统的实例判别方法。此外，从同一环境中采样额外数据显著提高了准确性，并提供了新的数据增强。ESS在房间分类和空间预测任务中表现出卓越的能力，尤其是在不熟悉的环境中。这种学习范式有可能使在新环境中具有独特视觉特征的智能体实现快速视觉学习。潜在变革性应用涵盖从机器人技术到太空探索。我们的概念验证表明，与依赖大量、不连接数据集的方法相比，效率有所提高。
引用
@article{arxiv.2401.15120,
title = {Incorporating simulated spatial context information improves the effectiveness of contrastive learning models},
author = {Lizhen Zhu and James Z. Wang and Wonseuk Lee and Brad Wyble},
journal= {arXiv preprint arXiv:2401.15120},
year = {2024}
}