通过传出副本进行自监督学习
机器学习
2023-08-03 v2 计算机视觉与模式识别
神经与进化计算
神经元与认知
摘要
自监督学习（SSL）方法旨在利用丰富的无标签数据进行机器学习（ML），但其底层原理往往因方法而异。一个源自具身学习的生物学第一性原理的 SSL 框架，可以统一各类 SSL 方法，有助于阐明大脑中的学习机制，并可能改进 ML。SSL 通常将每个训练数据点转换为一对视图，利用该配对知识作为正（即非对比）自监督信号，并可能将其与无关的（即对比）负例相对立。在此，我们表明此类自监督是神经科学中一个概念——传出副本（EC）的不完整实现。具体而言，大脑也通过传出（即运动指令）改变环境，但它向自身发送完整指令的 EC，而不仅仅是 SSL 信号。此外，其动作表征可能是以自我为中心的。基于这一原理性基础，我们在共同理论框架（即通过传出副本的自监督（S-TEC））下形式化地恢复并扩展了 SimCLR、BYOL 与 ReLIC 等 SSL 方法。从实证上看，S-TEC 有意义地重构了类内与类间表征。这体现为在图像分类、分割、目标检测以及音频任务中，近期强 SSL 基线得到改进。这些结果假设了大脑运动输出对其感觉表征具有可检验的正向影响。
引用
@article{arxiv.2210.09224,
title = {Self-Supervised Learning Through Efference Copies},
author = {Franz Scherr and Qinghai Guo and Timoleon Moraitis},
journal= {arXiv preprint arXiv:2210.09224},
year = {2023}
}
备注
Accepted at NeurIPS 2022