GraPHFormer：用于神经形态学形态分析的多模态图持久同调 Transformer
计算机视觉与模式识别
2026-03-24 v1
摘要
神经元形态编码有关电路功能、发育和疾病的关键信息，但当前方法要么分析拓扑，要么分析图结构。我们引入 GraPHFormer，一种通过 CLIP 风格对比学习统一这些互补视图的多模态架构。我们的视觉分支处理一种新颖的三通道持久图像编码，编码无权、持久加权和半径加权的拓扑密度，通过 DINOv2-ViT-S。并行地，TreeLSTM 编码器捕获骨架图的几何和径向属性。两者投影到共享嵌入空间，通过对称 InfoNCE 损失训练，增强以保持拓扑语义的持久空间变换。评估于六大基准测试 (BIL-6、ACT-4、JML-4、N7、M1-Cell、M1-REG)，涵盖自监督和监督设置，GraPHFormer 在五个基准测试上实现了最新性能，显著优于仅拓扑、仅图或形态学基线。我们展示了实际用途：区分皮层区域和物种间的星形胶质细胞形态，以及检测发育和退行性过程的信号。代码：https://github.com/Uzshah/GraPHFormer
关键词
引用
@article{arxiv.2603.20970,
title = {GraPHFormer: A Multimodal Graph Persistent Homology Transformer for the Analysis of Neuroscience Morphologies},
author = {Uzair Shah and Marco Agus and Mahmoud Gamal and Mahmood Alzubaidi and Corrado Cali and Pierre J. Magistretti and Abdesselam Bouzerdoum and Mowafa Househ},
journal= {arXiv preprint arXiv:2603.20970},
year = {2026}
}
备注
Accepted to IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 2026