基于隐私感知的第一视角办公室视频活动分类
计算机视觉与模式识别
2020-06-12 v1
摘要
随着可穿戴式身体摄像机的出现，基于第一视角视频（FPV）的人体活动分类因其在生活记录、执法、体育、职场和医疗等多种应用中的重要性而日益成为研究热点。FPV 的挑战之一是其会暴露用户视野中潜在的敏感物体。本工作中，我们开发了一个聚焦于办公室视频的隐私感知活动分类系统。我们利用 Mask-RCNN 与 Inception-ResNet 混合结构作为特征提取器，用于检测并模糊化视频中的敏感物体（如数字屏幕、人脸、纸张）。对于活动分类，我们融合了基于 ResNet、ResNext 和 DenseNet 特征提取器的循环神经网络（RNNs）集成模型。所提系统在包含 18 个类别的 FPV 办公室视频数据集上进行了训练与评估，该数据集通过 IEEE 视频与图像处理（VIP）杯 2019 竞赛公开。在原始未保护的 FPV 上，所提活动分类器集成模型准确率达 85.078%，精确率、召回率和 F1 分数分别为 0.88、0.85 和 0.86。在隐私保护视频上，性能略有下降，准确率、精确率、召回率和 F1 分数分别为 73.68%、0.79、0.75 和 0.74。该系统在 IEEE VIP 杯 2019 竞赛中获得三等奖。
引用
@article{arxiv.2006.06246,
title = {Privacy-Aware Activity Classification from First Person Office Videos},
author = {Partho Ghosh and Md. Abrar Istiak and Nayeeb Rashid and Ahsan Habib Akash and Ridwan Abrar and Ankan Ghosh Dastider and Asif Shahriyar Sushmit and Taufiq Hasan},
journal= {arXiv preprint arXiv:2006.06246},
year = {2020}
}