基于移动设备图库的场景识别与物体检测的用户偏好预测
计算机视觉与模式识别
2021-08-19 v2 机器学习
摘要
本文通过处理移动设备上的照片与视频图库来研究用户建模任务。我们提出了一种基于场景识别、物体检测与人脸分析的新型用户偏好预测引擎。首先，图库中所有的人脸被聚类，来自大聚类的人脸所对应的所有私人照片与视频在嵌入式系统上以离线模式处理。其他照片可被发送至远程服务器，由极深模型进行分析。每张照片的视觉特征取自场景识别与物体检测模型。这些特征在神经注意力块中聚合成单一的用户描述符。所提出的流水线在 Android 移动平台上实现。基于 Photo Event Collection、Web Image Dataset for Event Recognition 和 Amazon Fashion 数据集子集的实验结果表明，能够非常高效地图像处理而不显著降低精度。Android 移动应用的源代码公开于 https://github.com/HSE-asavchenko/mobile-visual-preferences。
引用
@article{arxiv.1907.04519,
title = {Preferences Prediction using a Gallery of Mobile Device based on Scene Recognition and Object Detection},
author = {A. V. Savchenko and K. V. Demochkin and I. S. Grechikhin},
journal= {arXiv preprint arXiv:1907.04519},
year = {2021}
}
备注
19 pages; 9 figures, preprint submitter to Pattern Recognition journal