门铃摄像头上的轻量级投递检测

尽管基于视频的动作识别与鲁棒时空建模近期取得了进展，大多数已有方法依赖于充足的计算资源，以运行庞大且计算密集的卷积或基于 transformer 的神经网络来获得满意结果。这限制了此类模型在算力与电源受限的边缘设备上的部署。在本工作中，我们研究了一个重要的智能家居应用——基于视频的投递检测，并提出了一种用于该任务的简单轻量级流程，可在资源受限的门铃摄像头上运行。我们的方法依靠运动线索生成一组粗粒度活动提议，随后用移动端友好的 3DCNN 网络对其分类。在训练时，我们设计了一个新颖的半监督注意力模块，帮助网络学习鲁棒的时空特征，并采用基于证据的优化目标，以量化网络预测的不确定性。在我们整理的投递数据集上的实验结果显示了流程的显著有效性，并凸显了我们在训练阶段的新颖设计带来的免费且可观的推理时性能提升。