IC3M: 用于监控司机和乘客异常状态的车内多模态多目标监控

最近，车内监控作为检测司机异常状态并提供及时警报以防止交通事故的前景技术不断发展。虽然使用多模态数据训练模型可提高异常状态检测的可靠性，但标注数据稀缺和类别分布不平衡会阻碍提取关键异常状态特征，显著恶化训练性能。此外，由于环境和硬件限制导致的模态缺失进一步恶化了异常状态识别的挑战。更重要的是，监控乘客（尤其是老年人）的异常健康状况至关重要，但仍未得到充分探索。为了应对这些挑战，我们介绍我们的IC3M，一个高效的基于相机旋转的多模态框架，用于监控车内的司机和乘客。我们的IC3M包括两个关键模块：自适应阈值伪标签策略和缺失模态重建。前者根据类别分布为不同类别定制伪标签阈值，生成平衡的伪标签以有效指导模型训练；后者利用来自有限标签的跨模态关系，准确恢复缺失的模态，通过从可用模态的分布迁移来实现。大量实验结果表明，IC3M在准确率、精确率和召回率方面均优于最先进的基准，同时在有限标注数据和严重缺失模态条件下表现出卓越的鲁棒性。