将脑活动与先进Transformer模型对齐：探索标点符号在语义处理中的作用
计算与语言
2025-02-04 v3 机器学习
摘要
本研究考察了神经活动与先进Transformer模型之间的一致性，强调了标点符号在文本理解中的语义重要性。利用Toneva和Wehbe最初提出的创新方法，我们评估了四种先进Transformer模型——RoBERTa、DistilBERT、ALBERT和ELECTRA——与神经活动数据的一致性。我们的发现表明，RoBERTa与神经活动的对齐最接近，在准确性上超过了BERT。此外，我们研究了去除标点符号对模型性能和神经对齐的影响，揭示BERT在缺少标点符号时准确性提高。这项研究有助于理解神经网络如何表示语言以及标点符号对人脑语义处理的影响。
引用
@article{arxiv.2501.06278,
title = {Aligning Brain Activity with Advanced Transformer Models: Exploring the Role of Punctuation in Semantic Processing},
author = {Zenon Lamprou and Frank Polick and Yashar Moshfeghi},
journal= {arXiv preprint arXiv:2501.06278},
year = {2025}
}