基于PHantoms卷积的MODIPHY：面向物联网的多模态遮挡检测

低光条件和被遮挡场景会影响实际物联网应用（如自动驾驶和安防系统）中的目标检测。虽然先进的机器学习模型追求高精度，但其计算需求与资源受限设备的限制相冲突，妨碍了实时性能。在本研究中，我们引入"YOLO Phantom"——目前为之最小的YOLO模型之一。YOLO Phantom利用新颖的Phantom卷积模块，在实现与最新YOLOv8n模型相当的精度的同时，显著减少参数和模型大小（降低43%），实现Giga浮点运算（GFLOPs）的19%降低。YOLO Phantom利用迁移学习在我们的多模态RGB红外数据集上，针对低光和遮挡问题，具备面对 adverse conditions时的鲁健视觉能力。其在物联网平台上的实际效果通过具有先进低光和RGB摄像头的系统，无缝连接到基于AWS的通知端点，以实现高效的实时目标检测。基准测试显示，与基线YOLOv8n模型相比，热成像和RGB检测的帧率分别提升了17%和14%。为社区贡献，代码和多模态数据集均已在GitHub上提供。