CytoCLIP：利用对比语言-图像预训练学习发育中人脑的细胞构筑特征
计算机视觉与模式识别
2026-01-21 v1 人工智能
摘要
人脑不同区域的功能与其独特的细胞构筑密切相关，后者由细胞的空间排列和形态所定义。通过细胞构筑识别脑区，能够支持对大脑进行多种科学分析。然而，在脑组织切片中手动划分这些区域既耗时又需要专业知识。为了最大限度地减少对人类专家精力的需求，一种自动化方法是必要的。为此，我们提出了CytoCLIP，这是一套基于预训练的对比语言-图像预训练框架衍生的视觉-语言模型，用于学习大脑细胞构筑的联合视觉-文本表示。CytoCLIP包含两种模型变体：一种使用低分辨率全区域图像进行训练，以理解一个区域的整体细胞构筑模式；另一种则在高分辨率图像块上进行训练，以获得详细的细胞级表示。训练数据集由不同孕周的发育中胎儿大脑的尼氏染色组织切片创建，包含86个用于低分辨率图像的不同区域和384个用于高分辨率图像块的脑区。我们通过区域分类和跨模态检索任务评估模型对细胞构筑的理解及其泛化能力。在多种数据设置下进行了多项实验，包括来自不同年龄和切片平面的样本数据。实验结果表明，CytoCLIP优于现有方法，在全区域分类中达到了0.87的F1分数，在高分辨率图像块分类中达到了0.91的F1分数。
引用
@article{arxiv.2601.12282,
title = {CytoCLIP: Learning Cytoarchitectural Characteristics in Developing Human Brain Using Contrastive Language Image Pre-Training},
author = {Pralaypati Ta and Sriram Venkatesaperumal and Keerthi Ram and Mohanasankar Sivaprakasam},
journal= {arXiv preprint arXiv:2601.12282},
year = {2026}
}