语言模型与大脑的对齐不仅源于下一词预测与词级信息

预训练语言模型已被证明能显著预测人们理解语言时的大脑记录。近期研究表明，对下一词的预测是促成这种对齐的关键机制。目前尚不清楚的是，下一词预测对于所观测到的对齐是必要条件还是仅为充分条件，以及是否存在其他同样重要的共享机制或信息。在本工作中，我们通过对流行的预训练语言模型进行两种简单扰动，朝着理解大脑对齐原因的方向迈出一步。这些扰动帮助我们设计可控制不同类型信息的对比。通过对比这些不同扰动模型与大脑记录的对齐程度，我们表明对齐的提升不仅源于下一词预测与词级信息的改进。