中文

提取与合并:利用Mask R-CNN从不同图像中合并提取的人体

计算机视觉与模式识别 2019-08-02 v1 图形学 机器学习

摘要

从图像中各种类型的物体中选出人体对象并将其与其他场景合并,是照片编辑人员日常的手动工作。尽管最近Adobe Photoshop发布了“选择主体”工具,可以自动选择图像中的前景对象,但仍需要单独进行精细的手动调整。在这项工作中,我们提出了一种利用Mask R-CNN(用于目标检测和掩码分割)的应用程序,可以从多张图像中提取人体实例并将其合并到新背景中。该应用程序没有给Mask R-CNN增加任何额外开销,运行速度为5帧每秒。它可以从任意数量的图像或视频中提取人体实例并将其合并。我们还对代码进行了结构化设计,以接受不同长度的视频作为输入,输出视频的长度等于最长输入视频的长度。我们希望创建一个简单而有效的应用程序,可以作为照片编辑的基础,并自动完成大部分耗时的工作,从而使编辑人员可以更多地专注于设计部分。其他应用包括将不同图像中无法物理聚集在一起的人组合到一张带有新背景的图片中。我们展示了单人和多人提取并在两种不同背景中放置的效果。此外,我们还展示了一个单人提取的视频示例。

关键词

引用

@article{arxiv.1908.00398,
  title  = {Extract and Merge: Merging extracted humans from different images utilizing Mask R-CNN},
  author = {Asati Minkesh and Kraisittipong Worranitta and Miyachi Taizo},
  journal= {arXiv preprint arXiv:1908.00398},
  year   = {2019}
}

备注

12 pages, 13 figures