利用神经网络可解释性图揭示与晕动症一致相关的脑电数据脑活动模式
人机交互
2026-03-30 v2 机器学习
摘要
晕动症对虚拟现实（VR）技术用户构成了严峻挑战。因此，人们投入了大量精力，通过脑电图（EEG）记录的脑活动等被动测量手段来追踪 VR 使用过程中晕动症的发生。为了准确地对晕动症进行分类（包括实时分类），需要能够从其余脑数据中提取有意义信号的机器学习算法。然而，EEG 数据集通常非常小，且参与者之间的变异性非常高，这使得构建有效模型极具挑战性。为了解决这些问题，我们首先引入了一个神经网络框架，该框架具有针对有限且不平衡的 EEG 数据进行分类的、带有校准和解释的自适应训练。模型确定最有用的特征可以通过绘制来自积分梯度和类激活的可解释性图来可视化。该框架通过卷积神经网络和 Transformer 模型进行了演示。使用参与者在观看旨在引发晕动症的 VR 刺激时记录的 EEG 脑数据，我们展示了哪些时空 EEG 特征（来自电极和时间步长）对不适分类最重要。在我们的框架使用三种不同神经网络在多个随机种子上进行的 12 次运行中，模型一致地指出相同的头皮位置具有最有助于确定 EEG 数据样本是否属于正在经历晕动症的人的脑数据模式。这些结果有助于阐明其他相关研究中隐藏的模式，并可用作标记特征，以便将来使用 EEG 进行更好的实时晕动症分类。我们在[匿名化]处提供代码，以实现跨不同神经网络架构的特征解释。
引用
@article{arxiv.2512.20620,
title = {Uncovering Patterns of Brain Activity from EEG Data Consistently Associated with Cybersickness Using Neural Network Interpretability Maps},
author = {Jacqueline Yau and Katherine J. Mimnaugh and Evan G. Center and Timo Ojala and Steven M. LaValle and Wenzhen Yuan and Nancy Amato and Minje Kim and Kara D. Federmeier},
journal= {arXiv preprint arXiv:2512.20620},
year = {2026}
}