对来自自我中心物体把玩的自监督视觉学习的计算解释
计算机视觉与模式识别
2023-06-01 v1 人工智能
摘要
儿童发展研究表明，处理物理物体的具身经验有助于多种认知能力，包括视觉学习。此类经验的一个特征是学习者从多个不同视角观察同一物体。本文中，我们研究将不同视角等同的学习信号——例如为单个物体的不同视图分配相似表示——如何支持鲁棒的视觉学习。我们使用Toybox数据集，其包含人类操控不同物体的自我中心视频，并采用计算机视觉框架进行自监督对比学习实验。我们发现，通过等同物体不同物理视角学到的表示有益于下游图像分类准确率。进一步实验表明，该性能提升对不同视角间隔的变化具有鲁棒性，且益处可迁移至多个不同的图像分类任务。
引用
@article{arxiv.2305.19445,
title = {A Computational Account Of Self-Supervised Visual Learning From Egocentric Object Play},
author = {Deepayan Sanyal and Joel Michelson and Yuan Yang and James Ainooson and Maithilee Kunda},
journal= {arXiv preprint arXiv:2305.19445},
year = {2023}
}