姿态增强：用于物体识别的类无关物体姿态变换
计算机视觉与模式识别
2021-01-15 v4
摘要
物体姿态增加了类内物体方差，使得从2D图像中进行物体识别更为困难。为使分类器对姿态变化具有鲁棒性，大多数深度神经网络试图通过使用每个类具有多种姿态的大型数据集来消除姿态的影响。此处我们提出一种不同方法：类无关物体姿态变换网络(OPT-Net)可沿3D偏航和俯仰轴变换图像以连续合成额外姿态。合成图像有助于更好地训练物体分类器。我们设计了一种新颖的消除-添加结构以显式解耦姿态与物体身份：首先消除输入图像的姿态信息，然后添加目标姿态信息（正则化为连续变量）以合成任意目标姿态。我们在iLab-20M数据集上转盘拍摄的玩具车辆图像上训练了OPT-Net。在不平衡离散姿态上训练后（5类每对象实例6种姿态，外加5类仅2种姿态），我们展示OPT-Net可沿偏航和俯仰轴高质量合成平衡的连续新姿态。用原始加合成姿态训练ResNet-18分类器相比仅用原始姿态训练将mAP准确率提高了9%。此外，预训练的OPT-Net可泛化到新物体类，我们在iLab-20M和RGB-D上均进行了演示。我们还展示所学特征可泛化到ImageNet。
引用
@article{arxiv.2003.08526,
title = {Pose Augmentation: Class-agnostic Object Pose Transformation for Object Recognition},
author = {Yunhao Ge and Jiaping Zhao and Laurent Itti},
journal= {arXiv preprint arXiv:2003.08526},
year = {2021}
}
备注
ECCV 2020, with supplementary materials