SIMON：基于显著性感知的集成多视图以对象为中心的神经解码
计算机视觉与模式识别
2026-05-04 v1 神经元与认知
摘要
最近的脑电图到图像检索方法利用预训练的视觉编码器和基于注视的启发式先验，但通常假设一个固定的、以中心为中心的视图。这种中心偏差与内容驱动的人类注意力相冲突，在视觉特征和脑电图响应之间造成了几何-语义分离。我们提出了SIMON，一个用于零样本脑电图到图像检索的显著性感知多视图框架。SIMON结合了前景分割和显著性预测，通过显著性感知采样(Saliency-Aware Sampling, SAS)选择注视中心，然后生成强调信息性对象区域同时抑制背景杂波的注视视图。在THINGS-EEG上，SIMON在受试者内和受试者间设置中均达到了最先进的性能，平均Top-1准确率分别达到69.7%和19.6%，持续优于最近的竞争基线。对采样粒度、脑电图通道拓扑以及视觉/大脑编码器骨干网络的分析进一步支持了显著性感知多视图集成的鲁棒性。我们的代码和模型可在 https://github.com/simonlink666/SIMON 公开获取。
引用
@article{arxiv.2605.00401,
title = {SIMON: Saliency-aware Integrative Multi-view Object-centric Neural Decoding},
author = {YuSheng Lin and Ji-Hwa Tsai and Chun-Shu Wei},
journal= {arXiv preprint arXiv:2605.00401},
year = {2026}
}