一种用于人类疲劳检测中可解释多模态生理信号集成的神经符号系统
人机交互
2026-03-26 v1 机器学习
摘要
我们提出了一种神经符号架构，通过注意力基编码器从眼动 tracking 和神经血氧动力学、功能近红外光谱 (fNIRS) 窗口中学习四个可解释的生理概念：眼动动力学、凝视稳定性、前额血流动力学以及多模态信号，并结合使用学习权重和软阈值的可微近似推理规则，以解决传统基于手工规则的僵化方法以及缺乏 subject-level 对齐诊断的问题。我们将该系统应用于生理信号的疲劳分类，该领域需要模型具有准确性和可解释性，其内部推理过程可被检查，以满足安全关键应用。在 18 名受试者 (560 个样本) 的留一受试者评估中，该方法实现了 72.1% ± 12.3% 的准确率，与调谐的基线方法相当，同时暴露概念激活和规则触发强度。消融实验表明，受试者特定校准带来 +5.2 百分点，缺少 fNIRS 概念会导致 -1.2 百分点，而使用 Lukasiewicz 算子略胜于乘积运算 (+0.9 百分点)。我们还引入了概念忠诚度这一概念，这一离线每个受试者的审计指标来自持留标签，与每个受试者的准确率高度相关 (r=0.843, p < 0.0001)。
引用
@article{arxiv.2603.24358,
title = {A Neuro-Symbolic System for Interpretable Multimodal Physiological Signals Integration in Human Fatigue Detection},
author = {Mohammadreza Jamalifard and Yaxiong Lei and Parasto Azizinezhad and Javier Fumanal-Idocin and Javier Andreu-Perez},
journal= {arXiv preprint arXiv:2603.24358},
year = {2026}
}