一种带有双通道注意力的小样本度量学习方法用于跨模态相同神经元识别

在神经科学研究中，实现跨不同成像模态的单个神经元匹配对于理解神经元结构与功能之间的关系至关重要。然而，模态差距和有限的标注带来了重大挑战。我们提出了一种带有双通道注意力机制和预训练视觉Transformer的小样本度量学习方法，以实现鲁棒的跨模态神经元识别。局部和全局通道分别提取胞体形态和纤维上下文，门控机制融合它们的输出。为了增强模型的细粒度判别能力，我们引入了基于MultiSimilarityMiner算法的难样本挖掘策略以及Circle Loss函数。在双光子和fMOST数据集上的实验表明，与现有方法相比，该方法具有优越的Top-K准确率和召回率。消融研究和t-SNE可视化验证了每个模块的有效性。该方法在不同微调策略下也在准确率和训练效率之间取得了良好的平衡。这些结果表明，所提出的方法为精确的单细胞水平匹配和多模态神经影像整合提供了一种有前景的技术解决方案。