是时候增强自监督视觉表征学习了
机器学习
2022-12-22 v2 计算机视觉与模式识别
摘要
生物视觉系统在学习无监督视觉表征方面无与伦比。在机器学习中，自监督学习（SSL）已在以无监督方式形成物体表征方面取得重大进展。此类系统学习对图像上增强操作（如裁剪或翻转）不变的表征。相比之下，生物视觉系统利用在自然与物体交互过程中视觉经验的时间结构，从而获得SSL中不常用的“增强”，例如从多个视角观察同一物体或在不同背景下观察。在此，我们系统地研究并比较此类基于时间的增强在自然交互中学习物体类别时的潜在益处。我们的结果表明，基于时间的增强相比最先进的图像增强实现了巨大的性能提升。具体而言，我们的分析揭示：1）三维物体操作极大改善了物体类别的学习；2）在不同背景下观察物体对于学习从潜表征中丢弃背景相关信息十分重要。总体而言，我们得出结论：在自然与物体交互过程中基于时间的增强可大幅改善自监督学习，缩小人工与生物视觉系统之间的差距。
引用
@article{arxiv.2207.13492,
title = {Time to augment self-supervised visual representation learning},
author = {Arthur Aubret and Markus Ernst and Céline Teulière and Jochen Triesch},
journal= {arXiv preprint arXiv:2207.13492},
year = {2022}
}
备注
20 pages