通过异构多源数据集成与跨域模态填补增强疲劳检测

人类操作员的疲劳检测在航空、采矿和长途运输等安全关键应用中发挥着关键作用。尽管大量研究已经证明了高保真传感器在受控实验室环境中的有效性，但由于噪声、光照条件和视场限制，它们在移植到真实世界环境时性能通常会下降，从而限制了其实用性。本文将真实世界疲劳检测的部署导向设置形式化，其中高质量传感器在实际应用中通常不可用。为了应对这一挑战，我们提出利用来自异构源域的知识——包括难以在现场部署但在受控环境中常用的高保真传感器——来辅助真实世界目标域中的疲劳检测。基于这一思路，我们设计了一个异构多源疲劳检测框架，该框架通过跨域对齐和模态填补，在利用源域中多样配置的同时，自适应地利用目标域中的可用模态。我们使用现场部署的传感器设置和两个公开可用的人类疲劳数据集进行的实验，证明了我们的方法在跨受试者和跨域上的实用性、鲁棒性以及改进的泛化能力。所提出的方法在传感器受限场景下相对于强基线取得了一致的提升。本工作已提交至 IEEE 以供可能发表。版权可能在不另行通知的情况下转移，在此之后此版本可能不再可访问。