基于概率分布对齐与低秩权重分解的源自域自适应脑解码
计算机视觉与模式识别
2025-04-17 v2
摘要
脑解码目前面临个体差异、模态对齐以及高维嵌入等挑战。为解决个体差异问题，研究者常使用源主体数据，导致隐私泄露和存储负担等问题。对于模态对齐，现有工作关注软最大概率分布的对齐，但忽略了边际概率分布的对齐，导致模态错位。此外，图像与文本在fMRI中独立对齐，未考虑其复杂的相互作用，导致图像重建效果差。最终，CLIP嵌入的维数导致显著的计算成本。虽然可以通过忽略图像获取的patch数量和文本获取的token数量来降低CLIP嵌入维度，但会导致模型性能显著下降，形成困境。为克服这些限制，我们提出一种基于源自域自适应的脑解码框架。
引用
@article{arxiv.2504.09109,
title = {Probability Distribution Alignment and Low-Rank Weight Decomposition for Source-Free Domain Adaptive Brain Decoding},
author = {Ganxi Xu and Jinyi Long and Jia Zhang},
journal= {arXiv preprint arXiv:2504.09109},
year = {2025}
}