中文

微表情识别的推理时注视精化:增强事件驱动眼动追踪的运动感知后处理

计算机视觉与模式识别 2025-08-12 v3 人机交互 机器学习 图像与视频处理

摘要

事件驱动眼动追踪在精细认知状态推理方面具有显著前景,提供高时间分辨率和对运动伪差的鲁棒性,这对于解码注意力、困惑或疲劳等微妙心理状态至关重要。在本工作中,我们提出了一种模型无关的推理时精化框架,旨在增强现有事件驱动注视估计模型的输出,而无需修改其架构或进行重新训练。我们的方法包含两个关键后处理模块:(i)运动感知中值滤波,用于抑制眨眼引起的尖峰同时保留自然的注视动态;(ii)基于光流的局部精化,将注视预测与累积事件运动对齐以减少空间抖动和时间不连续性。为了补充传统的空间精度指标,我们提出了一种新型抖动指标,基于速度规律性和局部信号复杂度来捕捉预测注视轨迹的时间平滑性。这些贡献共同显著提升了事件驱动注视信号的一致性,使其更适合于微表情分析和心理状态解码等下游任务。我们的结果在多个基线模型上展示了跨受控数据集的一致性提升,为在真实环境中与多模态情感识别系统的未来集成奠定了基础。代码实现可在 https://github.com/eye-tracking-for-physiological-sensing/EyeLoRiN 获取。

关键词

引用

@article{arxiv.2506.12524,
  title  = {Inference-Time Gaze Refinement for Micro-Expression Recognition: Enhancing Event-Based Eye Tracking with Motion-Aware Post-Processing},
  author = {Nuwan Bandara and Thivya Kandappu and Archan Misra},
  journal= {arXiv preprint arXiv:2506.12524},
  year   = {2025}
}

备注

Accepted at 4DMR@IJCAI25: International IJCAI Workshop on 1st Challenge and Workshop for 4D Micro-Expression Recognition for Mind Reading, August 29, 2025, Guangzhou, China