基于色调对齐生成对抗网络生成真实训练图像用于手部姿态估计
计算机视觉与模式识别
2020-12-15 v4
摘要
从单目RGB图像进行手部姿态估计是一项重要但具有挑战性的任务。影响其性能的主要因素是缺乏具有精确手部关键点标注的足够大规模训练数据集。本工作中，我们提出一种生成真实手部姿态的有效方法以规避该问题，并表明利用所生成的手部姿态作为训练数据可大幅改进最先进的手部姿态估计算法。具体而言，我们首先采用增强现实(AR)模拟器合成带有精确手部关键点标签的手部姿态。尽管合成手部姿态带有精确的关节标签，免除了人工标注之需，但其外观不自然，并非理想训练数据。为生成更真实的手部姿态，我们提出将合成手部姿态与真实背景(如手臂和衣袖)相融合。为此，我们开发了色调对齐生成对抗网络(TAGANs)，其对齐合成手部姿态与真实背景间的色调与颜色分布，并能生成高质量手部姿态。我们在RHP、STB和CMU-PS三个手部姿态基准数据集上评估了TAGAN。借助合成姿态，我们的方法在2D和3D手部姿态估计中均优于现有最先进方法。
引用
@article{arxiv.1811.09916,
title = {Generating Realistic Training Images Based on Tonality-Alignment Generative Adversarial Networks for Hand Pose Estimation},
author = {Liangjian Chen and Shih-Yao Lin and Yusheng Xie and Hui Tang and Yufan Xue and Xiaohui Xie and Yen-Yu Lin and Wei Fan},
journal= {arXiv preprint arXiv:1811.09916},
year = {2020}
}