通过同步激活耦合人工神经网络与人类脑功能的视觉语义
计算机视觉与模式识别
2022-06-23 v1
摘要
人工神经网络（ANNs）最初受生物神经网络（BNNs）启发，已在视觉表征学习等许多任务中取得显著成功。然而，由于缺少有效工具连接和耦合两个不同领域，且缺少表示 BNNs（如人类功能脑网络 FBNs）中视觉语义的通用有效框架，ANNs 与 BNNs 的视觉表征之间是否存在语义关联/联系仍大部门未被探索。为回答该问题，我们提出一种新颖计算框架——同步激活（Sync-ACT），基于自然主义功能磁共振成像（nfMRI）数据耦合人脑中 ANNs 与 BNNs 的视觉表征空间与语义。借助该方法，我们首次能用源自人脑成像的生物学意义描述对 ANNs 中的神经元进行语义标注。我们在两个公开可用的看电影 nfMRI 数据集上评估了 Sync-ACT 框架。实验表明：a) FBNs 中视觉表征与多种卷积神经网络（CNNs）模型中的视觉表征在语义上显著相关且相似；b) CNN 对 BNNs 的视觉表征相似度与其在图像分类任务中的表现密切相关。总之，本研究引入了耦合 ANNs 与 BNNs 的通用有效范式，并为脑启发人工智能等未来研究提供了新见解。
引用
@article{arxiv.2206.10821,
title = {Coupling Visual Semantics of Artificial Neural Networks and Human Brain Function via Synchronized Activations},
author = {Lin Zhao and Haixing Dai and Zihao Wu and Zhenxiang Xiao and Lu Zhang and David Weizhong Liu and Xintao Hu and Xi Jiang and Sheng Li and Dajiang Zhu and Tianming Liu},
journal= {arXiv preprint arXiv:2206.10821},
year = {2022}
}