利用注视点实现第一人称视角视频中的动作片段无监督分割
计算机视觉与模式识别
2021-06-24 v2
摘要
在第一人称视角视频中，动作片段的无监督分割是活动识别和基于内容的视频检索等任务中期望具备的特性。将搜索空间缩减为有限的动作片段集合，有助于实现更快速且噪声更小的匹配。然而，机器在理解连续人类活动中自然时间切分方面仍存在巨大差距。本工作报告了一种基于注视点的新方法，用于对使用第一人称视角相机拍摄的视频中的动作片段进行分割。注视点用于定位帧内的感兴趣区域。通过在连续的感兴趣区域内追踪两个简单的基于运动的参数，我们发现了一组有限的时间切分。我们在一个数据集（即BRISGAZE-ACTIONS）上展示了使用这两个参数组合的若干结果。该数据集包含描绘若干日常活动的第一人称视角视频。通过实现两种熵度量，时间切分的质量得到了进一步提升。
引用
@article{arxiv.1710.00187,
title = {Unsupervised Segmentation of Action Segments in Egocentric Videos using Gaze},
author = {I. Hipiny and H. Ujir and J. L. Minoi and S. F. Samson Juan and M. A. Khairuddin and M. S. Sunar},
journal= {arXiv preprint arXiv:1710.00187},
year = {2021}
}
备注
Published in 2017 IEEE International Conference On Signal and Image Processing Applications