克服神经动作表征中的域间隙
计算机视觉与模式识别
2022-01-20 v3
摘要
将动物行为与大脑活动相关联是神经科学的基本目标，在构建鲁棒脑机接口方面具有实际应用。然而，个体间的域间隙是一个主要问题，阻碍了在未经标注受试者上工作的通用模型的训练。由于现在可从多视角视频序列中可靠地提取三维姿态数据而无需人工干预，我们提议利用该数据来引导神经动作表征的编码，并结合一组利用显微成像特性的神经与行为增强。为减小域间隙，在训练期间，我们在看似执行相似动作的动物间交换神经与行为数据。为证明这一点，我们在三个非常不同的多模态数据集上测试了我们的方法：一个包含果蝇及其神经活动，一个包含人类神经皮层电图（ECoG）数据，以及最后一个来自不同视角的人类活动 RGB 视频数据。
引用
@article{arxiv.2112.01176,
title = {Overcoming the Domain Gap in Neural Action Representations},
author = {Semih Günel and Florian Aymanns and Sina Honari and Pavan Ramdya and Pascal Fua},
journal= {arXiv preprint arXiv:2112.01176},
year = {2022}
}