应对谷歌视觉API对旋转图像不一致标注的方法
计算机视觉与模式识别
2019-11-19 v1 图像与视频处理
摘要
谷歌的Vision API可分析图像并提供多种输出预测，其中一种为基于上下文的标注。本文表明，通过旋转图像可生成导致错误标签预测和欺骗的对抗样本。由于该API的黑盒性质，我们提出了一种基于上下文的模块化预处理流水线，其由一个ResNet50模型组成，该模型预测图像为校正其方向所需旋转的角度。该流水线成功执行校正同时保持图像分辨率，并将其输入API，从而生成与原始正确方向图像相似的标签，并且使用百分比误差（Percentage Error）度量，发现校正后图像相比其旋转对应物的性能显著更高。这些观察表明，该API可受益于此类预处理流水线以提升对旋转扰动的鲁棒性。
引用
@article{arxiv.1911.07201,
title = {Countering Inconsistent Labelling by Google's Vision API for Rotated Images},
author = {Aman Apte and Aritra Bandyopadhyay and K Akhilesh Shenoy and Jason Peter Andrews and Aditya Rathod and Manish Agnihotri and Aditya Jajodia},
journal= {arXiv preprint arXiv:1911.07201},
year = {2019}
}
备注
11 pages, 9 figures, Accepted at ICICV 2020 Jaipur India