R&B --节奏与大脑：基于人类脑活动的跨主体音乐解码

音乐是一种普遍现象，对人类经验具有深远影响。本研究探讨了是否可以从人类大脑活动中解码音乐，这些活动是通过功能性 MRI（fMRI）在其感知期间测得的。利用近期大规模数据集和预训练计算模型的进展，我们构建了神经数据与音乐刺激的潜在表示之间的映射。我们的 метод将功能和解剖对齐技术整合到一起，以促进跨主体解码，解决 fMRI 数据低时间分辨率和信噪比（SNR）带来的挑战。从 GTZan fMRI 数据集开始，其中五名受试者在聆听 540 个来自 10 个不同流派的音乐刺激的同时记录了其脑活动，我们使用 CLAP（Contrastive Language-Audio Pretraining）模型提取音乐刺激的潜在表示，并开发了基于脑素的编码模型以识别对这些刺激有响应的脑区。通过对预测值与实际脑活动之间的关联性施加阈值，我们确定了特定的区域兴趣（ROIs），这些区域可解释为音乐处理的关键参与者。我们的解码管道主要基于检索，使用线性映射将脑活动投影到对应的 CLAP 特征。这使我们能够预测并检索与 fMRI 数据最相似的音乐刺激。我们的结果显示出先进的识别准确率，我们的方法显著优于现有方法。我们的发现表明，基于神经的音乐检索系统可能为个性化推荐和治疗应用提供可能。未来的工作可以使用更高的时间分辨率神经成像和生成模型来提高解码准确率并探索音乐感知和情感的神经基础。