基于 fMRI 数据的脑预测编码语言重建

许多近期研究表明，语音感知可以从脑信号中解码，并随后重建为连续语言。然而，缺乏脑信号中嵌入语义信息的神经学依据，无法更有效地指导语言重建。预测编码理论表明，人类大脑自然会持续预测跨越多个时间尺度的未来单词。这意味着脑信号的解码可能与可预测的未来相关。为探索预测编码理论在语言重建中的应用，本文提出了基于预测编码的 fMRI-to-text 解码方法 \textsc{PredFT}。\textsc{PredFT}由主网络和侧网络组成。侧网络通过自注意力模块从相关感兴趣区域(ROI)获取脑预测表示。该表示随后被融合到主网络中用于连续语言解码。在两个自然语言理解 fMRI 数据集上进行的实验表明，\textsc{PredFT}在多个评估指标上优于当前解码模型。