融合 LLM、EEG 与眼动生物标记分析的词级语义推理阅读理解神经状态分类
计算与语言
2023-10-18 v2 人工智能
摘要
随着近期大语言模型（LLM）（如生成式预训练 Transformer（GPT））的激增，在探索人类与机器对语义语言意义的理解方面出现了显著转变。这一转变呼吁跨越认知科学与自然语言处理（NLP）的跨学科研究。本试点研究旨在深入洞察个体在语义关系阅读理解任务中的神经状态。我们提出联合分析 LLM、眼动注视与脑电图（EEG）数据，以研究大脑在阅读过程中如何处理与关键词相关程度不同的词。我们还采用特征工程方法，在参与者阅读高相关度与低相关度关键词的词时，改进注视相关 EEG 数据的分类。该词级分类的最佳验证准确率在 12 名受试者中超过 60%。与推理关键词高相关的词具有显著更多的每词眼动注视次数：排除无注视词时为 1.0584 对比 0.6576，包含时为 1.5126 对比 1.4026。本研究代表首次尝试利用 LLM 知识在词级分类脑状态。它为人类认知能力与人造通用智能（AGI）领域提供了宝贵洞察，并为开发潜在阅读辅助技术提供指导。
引用
@article{arxiv.2309.15714,
title = {Integrating LLM, EEG, and Eye-Tracking Biomarker Analysis for Word-Level Neural State Classification in Semantic Inference Reading Comprehension},
author = {Yuhong Zhang and Qin Li and Sujal Nahata and Tasnia Jamal and Shih-kuen Cheng and Gert Cauwenberghs and Tzyy-Ping Jung},
journal= {arXiv preprint arXiv:2309.15714},
year = {2023}
}