mEBAL2 数据库与基准：基于图像的多光谱眨眼检测

本工作介绍了一种新的多光谱数据库以及用于在 RGB 与近红外（NIR）单幅图像中进行眨眼检测的新方法。我们贡献的数据集（mEBAL2，多模态眨眼与注意力水平估计，版本 2）是现有最大的眨眼数据库，为改进数据驱动的多光谱眨眼检测及相关应用（例如人脸生物特征识别中的注意力水平估计与呈现攻击检测）提供了绝佳机会。mEBAL2 包含来自 180 名不同学生的 21,100 个图像序列（总计超过 200 万张标注图像），这些学生执行了若干难度各异的在线学习任务，或通过 edX MOOC 平台修读了一门真实的 HTML 入门课程。mEBAL2 使用多种传感器，包括两个近红外（NIR）相机和一个 RGB 相机以在任务执行期间捕捉面部姿态，以及一个脑电图（EEG）带以获取用户的认知活动与眨眼事件。此外，本工作提出了一种卷积神经网络（Convolutional Neural Network）架构作为 mEBAL2 上眨眼检测的基准，性能高达 97%。采用 RGB 光谱、NIR 光谱及两者组合实施了不同的训练方法，以提升现有眨眼检测器的性能。我们证明在训练期间结合 NIR 与 RGB 图像可改善 RGB 眨眼检测器（即仅基于 RGB 图像的眨眼检测）的性能。最后，所提眨眼检测器的泛化能力在如 HUST-LEBW 数据集等更真实且更具挑战性的环境中得到验证，以展示 mEBAL2 在训练新一代数据驱动眨眼检测方法方面的实用性。