克服对比学习神经动作表征中的域间隙
计算机视觉与模式识别
2021-11-30 v1
摘要
神经科学的一个基本目标是理解神经活动与行为之间的关系。例如，从神经数据中提取行为意图（即神经解码）对于开发有效的脑机接口至关重要。尽管简单线性模型已被应用于此挑战，但它们无法识别重要的非线性关系。因此，一种用于识别神经动力学与行为间非线性关系以计算神经表征的自监督手段，仍是一个重要的开放问题。为应对该挑战，我们生成了一个由果蝇（Drosophila melanogaster，神经科学研究中常用的模式生物）自发行为组成的多模态新数据集。该数据集包含来自动物生成自发动作的六相机视角 3D 无标记运动捕捉数据，以及同步获取的双光子显微镜图像，捕捉被认为驱动动作的下行神经元群体活动。标准对比学习与无监督域适应技术难以学习神经动作表征（从描述动作标签的神经数据计算的嵌入），原因在于神经与行为模态上均存在较大的个体间差异。为克服此缺陷，我们开发了简单而有效的增强方法，缩小了个体间域间隙，使我们能从神经数据中提取与行为相关却域无关的信息。该多模态数据集与我们的新增强集有望加速自监督学习方法在神经科学中的应用。
引用
@article{arxiv.2111.14595,
title = {Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations},
author = {Semih Günel and Florian Aymanns and Sina Honari and Pavan Ramdya and Pascal Fua},
journal= {arXiv preprint arXiv:2111.14595},
year = {2021}
}
备注
Accepted into NeurIPS 2021 Workshop: Self-Supervised Learning - Theory and Practice