HST-HGN：用于全球疲劳评估的异构时空超图网络配合双向状态空间模型

在受限计算预算下，从未剪裁的视频中评估司机疲劳仍然具有挑战性，原因在于难以建模细微面部表情的长程时序依赖性。一些现有方法依赖计算密集型体系结构，而另一些方法则采用传统轻量级成对图网络，尽管这些网络的容量受限于无法建模高阶协同作用和全局时序上下文。因此，我们提出了 HST-HGN，一种由双向状态空间模型驱动的异构时空超图网络。空间上，我们引入分层超图网络以动态融合姿态解耦的几何拓扑和多模态纹理块。这种表述封装了高阶协同性面部变形，有效克服了常规方法的局限性。在时序方面，应用具有线性复杂度的 Bi-Mamba 模块进行双向序列建模。这种显式的时序演化过滤使网络能够区分高度模糊的瞬时动作，如打哈欠与说话话，同时涵盖它们的完整生理生命周期。广泛的在不同疲劳基准上的评估表明，HST-HGN 实现了最先进的性能。特别是，我们的方法在判别力和计算效率之间取得了平衡，特别适合用于实时车内边缘部署。