使用轻量级对抗网络进行实时连拍照片选择
计算机视觉与模式识别
2018-03-21 v1
摘要
我们提出了一种可在移动相机上实时运行的自动精彩瞬间捕捉系统。该系统设计为在取景器模式下运行，并在按下快门前后捕捉一连拍的图像帧。对于每一帧，系统实时预测一个“优良度”评分，基于此评分，可以在释放快门后立即选出连拍中的最佳瞬间，无需任何用户干预。为解决此问题，我们开发了一个高效的深度神经网络排序模型，该模型隐式学习一个“潜在相对属性”空间，以捕捉连拍图像序列内微妙的视觉差异。然后，将整体优良度计算为所有潜在属性优良度的线性聚合。潜在相对属性和聚合函数可以无缝集成在一个全卷积网络中，并以端到端的方式进行训练。为了获得可在移动设备上实时运行的紧凑模型，我们探索并评估了广泛的网络设计选择，同时考虑了模型大小、计算成本和准确性的约束。大量研究表明，我们的模型预测的最佳帧在 的情况下命中了用户的 top-1（平均 11 选 1）选择，在 的情况下命中了 top-3 选择。此外，该模型（仅 0.47M 字节）可以在移动设备上实时运行，例如在 iPhone 7 上预测一帧仅需 13ms。
引用
@article{arxiv.1803.07212,
title = {Real-time Burst Photo Selection Using a Light-Head Adversarial Network},
author = {Baoyuan Wang and Noranart Vesdapunt and Utkarsh Sinha and Lei Zhang},
journal= {arXiv preprint arXiv:1803.07212},
year = {2018}
}