跨感官脑电段落检索：从视觉扩展到听觉
信息检索
2026-03-25 v2 机器学习
摘要
由于认知复杂性和身体障碍，从内部信息需求构建查询在所有信息检索范式中仍然具有根本性的挑战。脑电段落检索（BPR）通过直接将脑电图信号映射到段落表示，而无需中间文本翻译，来解决这一问题。然而，现有的BPR研究仅使用视觉刺激，留下了关键问题未解：听觉脑电图能否为基于语音的接口和视障用户实现有效检索？在数据严重稀缺的情况下，使用来自不同感官模态的脑电图组合数据集进行训练能否提高性能？我们首次对用于BPR的听觉脑电图进行了系统性研究，并评估了跨感官训练的优势。我们使用具有四种池化策略（CLS、平均、最大、多向量）的双编码器架构，在Alice（听觉）和Nieuwland（视觉）数据集上进行了对照实验，比较了仅听觉、仅视觉和组合训练。结果表明，听觉脑电图始终优于视觉脑电图，并且使用CLS池化的跨感官训练相比单独训练取得了显著改进：MRR提升31%（0.474），Hit@1提升43%（0.314），Hit@10提升28%（0.858）。至关重要的是，组合听觉脑电图模型超越了BM25文本基线（MRR：0.474 vs 0.428），确立了神经查询与传统检索的竞争力，同时实现了可访问的接口。这些发现验证了用于IR任务的听觉神经接口，并证明跨感官训练在解决数据稀缺问题的同时，优于单模态方法。代码：https://github.com/NiallMcguire/Audio_BPR
引用
@article{arxiv.2601.14001,
title = {Cross-Sensory Brain Passage Retrieval: Scaling Beyond Visual to Audio},
author = {Niall McGuire and Yashar Moshfeghi},
journal= {arXiv preprint arXiv:2601.14001},
year = {2026}
}
备注
Accepted At ECIR 2026