HyFI：用于脑-视觉对齐的双曲线特征插值
人工智能
2026-03-25 v1
摘要
近期的人工智能进展促使大量尝试理解和解码来自脑信号的人类视觉系统。这些先前的工作通常独立地将神经活动与从图像中提取的语义特征和感知特征（由预训练的视觉模型生成）对齐。然而，这些方法未能考虑两个关键挑战：(1) 由于脑信号与图像在表示信息水平上的天然差异，产生的模态鸿沟；(2) 语义特征和感知特征在神经活动中高度交织。为解决这些问题，我们利用双曲空间，这一空间适合考虑表示信息量的差异，并具有几何特性：两点之间的测地线自然向原点方向弯曲，而原点处的表征容量较低。借助这些特性，我们提出了一种新框架，即双曲线特征插值 (HyFI)，通过双曲线测地线对语义和感知视觉特征进行插值。这实现了感知和语义信息的融合与压缩，有效反映了脑信号的有限表达能力以及这些特征的交织性。结果是促进了脑与视觉特征之间的更好对齐。我们展示，HyFI 在零样本脑到图像检索中实现了状态-of-the-art 性能，在 THINGS-EEG 和 THINGS-MEG 上分别实现了最高可达 +17.3% 和 +9.1% 的 Top-1 准确率提升。
引用
@article{arxiv.2603.22721,
title = {HyFI: Hyperbolic Feature Interpolation for Brain-Vision Alignment},
author = {Sangmin Jo and Wootaek Jeong and Da-Woon Heo and Yoohwan Hwang and Heung-Il Suk},
journal= {arXiv preprint arXiv:2603.22721},
year = {2026}
}
备注
17 pages, 13 figures. Published in AAAI 2026