SegCodeNet：用于可穿戴相机活动检测的颜色编码分割掩码网络
计算机视觉与模式识别
2020-08-20 v1
摘要
利用可穿戴相机采集的第一人称视频（FPV）进行活动检测是一个活跃的研究领域，在医疗、执法和康复等多个行业具有潜在应用。最先进的方法使用基于光流的混合技术，依赖从连续帧中物体运动提取的特征。本文中，我们开发了双流网络 \emph{SegCodeNet}，其除原始 RGB 视频流外，还包含一个含有相关物体颜色编码语义分割掩码视频流的网络分支。我们还包括一个流间注意力门控以在两个流间分配优先级，以及一个帧间注意力模块以优先处理含相关特征的视频帧。实验在包含办公室环境中 个活动类别的 FPV 数据集上进行。与单流网络相比，所提双流方法在三种不同帧尺寸 、 和 的平均结果比较中，平均 F1 分数和准确率分别绝对提升 和 。该方法对低分辨率图像带来显著性能增益，在输入尺寸为 和 时 F1 分数绝对提升分别为 和 。最佳性能在帧尺寸 时取得，F1 分数和准确率分别为 和 ，比最先进的 Inflated 3D ConvNet（I3D）\cite{carreira2017quo} 方法分别绝对高出 和 。
引用
@article{arxiv.2008.08452,
title = {SegCodeNet: Color-Coded Segmentation Masks for Activity Detection from Wearable Cameras},
author = {Asif Shahriyar Sushmit and Partho Ghosh and Md. Abrar Istiak and Nayeeb Rashid and Ahsan Habib Akash and Taufiq Hasan},
journal= {arXiv preprint arXiv:2008.08452},
year = {2020}
}