CUDA-GHR:面向注视与头部重定向的可控无监督域适应
计算机视觉与模式识别
2022-09-21 v4
摘要
注视与头部姿态估计模型的鲁棒性高度依赖于标注数据的数量。近年来,生成式建模在生成照片级真实感图像方面取得了优异结果,可缓解对标注的需求。然而,将此类生成模型适配到新域的同时保持其对照视与头部姿态方向等不同图像属性细粒度控制的能力,一直是一个具有挑战性的问题。本文提出 CUDA-GHR,一种无监督域适应框架,可在保留人物外观相关因素的同时,实现对注视与头部姿态方向的细粒度控制。我们的框架利用富含标注的源域和无标注的目标域,同时学习适配新域并解耦外观、注视方向和头部朝向等视觉属性。在基准数据集上的大量实验表明,所提方法在定量与定性评估上均优于当前最优(state-of-the-art)技术。此外,我们展示了目标域中生成的图像-标签对用于注视与头部姿态估计下游任务网络预训练的有效性。源代码与预训练模型可在 https://github.com/jswati31/cuda-ghr 获取。
引用
@article{arxiv.2106.10852,
title = {CUDA-GHR: Controllable Unsupervised Domain Adaptation for Gaze and Head Redirection},
author = {Swati Jindal and Xin Eric Wang},
journal= {arXiv preprint arXiv:2106.10852},
year = {2022}
}
备注
Accepted at WACV2023, Camera-ready version