以标签形式从截屏中进行设备端信息提取
计算机视觉与模式识别
2020-12-15 v1 计算与语言
信息检索
摘要
我们提出一种使移动截屏易于搜索的方法。在本文中，我们展示了如下工作流：1) 对截屏集合进行预处理，2) 识别图像中存在的文字系统，3) 从图像中提取非结构化文本，4) 识别提取文本的语言，5) 从文本中提取关键词，6) 基于图像特征识别标签，7) 通过识别相关关键词扩展标签集，8) 对图像标签排序后将其与相关图像插入并建立索引，以在设备端实现可搜索。我们构建了支持多语言的流水线并在设备端执行，从而解决了隐私问题。我们为流水线中的组件开发了新颖的架构，并针对设备端计算优化了性能与内存。我们通过实验观察到，所开发的方案能够减少整体用户精力并改善终端用户在搜索时的体验，相关结果已发表。
引用
@article{arxiv.2001.06094,
title = {On- Device Information Extraction from Screenshots in form of tags},
author = {Sumit Kumar and Gopi Ramena and Manoj Goyal and Debi Mohanty and Ankur Agarwal and Benu Changmai and Sukumar Moharana},
journal= {arXiv preprint arXiv:2001.06094},
year = {2020}
}