ScreenSeg：面向移动端设备的截图版面分析
计算机视觉与模式识别
2021-04-22 v2
摘要
我们提出了一种新颖的端到端方案，用于在手机等资源受限设备上对截图和文档图像进行分层版面分析。我们的方法对截图中出现的网格、图像、文本和图标块等实体进行分割。我们提供智能编辑选项，通过自动高亮这些实体以便保存或分享。此外，这种多层级截图版面分析具有许多用例，包括内容提取、基于关键词的图像检索、风格迁移等。我们解决了已知基线方法的局限性，支持种类繁多的语义复杂截图，并开发了一种高度优化以用于设备端部署的方法。另外，我们提出了一种新颖的加权 NMS 技术用于过滤目标候选框。在三星 Galaxy S10 设备上，对于 1080p 分辨率的截图，我们以约 200ms 的延迟实现了约 0.95 的平均精度。该解决方案流水线已在三星设备应用中商业化，即三星截图、智能裁剪、相机应用中的我的滤镜、Bixby Touch。
引用
@article{arxiv.2104.08052,
title = {ScreenSeg: On-Device Screenshot Layout Analysis},
author = {Manoj Goyal and Rachit S Munjal and Sukumar Moharana and Deepak Garg and Debi Prasanna Mohanty and Siva Prasad Thota},
journal= {arXiv preprint arXiv:2104.08052},
year = {2021}
}
备注
Accepted for publication in IJCNN 2021