NeuroLIP：面向 fMRI 与表型文本的可解释且公平的跨模态对齐
机器学习
2025-03-31 v1 神经元与认知
摘要
将功能性磁共振成像 (fMRI) 连接数据与表型文本描述符 (如疾病标签、人口统计数据) 集成具有巨大的潜力，以促进对神经疾病的理解。然而，现有的跨模态对齐方法往往缺乏可解释性，并可能通过将敏感属性与诊断相关特征编码在一起而引入偏见。本文提出了 NeuroLIP，一种新的跨模态对比学习框架。我们引入文本标记条件注意力 (TTCA) 和基于局部标记的跨模态对齐 (CALT) 以整合到脑区级嵌入中，每个与疾病相关的表型标记相关联。这一方法通过标记级别注意力图提高了可解释性，揭示了脑区-疾病关联。为缓解偏见，我们提出了一种用于敏感属性解耦的损失函数，通过最大化疾病标记与敏感属性标记之间的注意力距离，减少下游预测中的意外相关。此外，我们采用负梯度技术反转 CALT 损失在敏感属性上的符号，进一步抑制这些特征的对齐。在神经影像数据集 (ABIDE 和 ADHD-200) 上的实验表明，NeuroLIP 在公平性指标方面具有优势，同时保持最佳的常规指标性能。注意力图的定性可视化突显了与诊断特征相关的神经解剖模式，已被神经科学文献验证。我们的工作推动了透明且公平的神经影像 AI 的发展。
引用
@article{arxiv.2503.21964,
title = {NeuroLIP: Interpretable and Fair Cross-Modal Alignment of fMRI and Phenotypic Text},
author = {Yanting Yang and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2503.21964},
year = {2025}
}