CLERF:用于全范围头部姿态估计的对比学习框架
计算机视觉与模式识别
2024-12-04 v1
摘要
我们提出了一种用于头部姿态估计(HPE)的表示学习框架。以往由于头部姿态数据稀疏,三元组采样难以实现。近期3D生成对抗网络(3D-aware GAN)的进展为轻松采样三元组(锚点、正样本、负样本)开辟了可能性。我们对包含几何变换的广泛增强数据进行对比学习,证明对比学习使网络能够学习有助于精确HPE的真实特征。另一方面,我们注意到现有HPE工作在测试图像旋转矩阵稍微偏离训练数据集分布时,头姿估计精度较差。实验表明,我们的方法在标准测试数据集上与最先进模型持平,而在图像轻微旋转/翻转或全范围头部姿态时优于后者。据我们所知,我们是首次提供能够准确预测任何头部姿态(包括颠倒姿态)的真正全范围HPE模型。此外,我们与其他现有全Yaw范围模型进行比较,证明了其优越性能。
引用
@article{arxiv.2412.02066,
title = {CLERF: Contrastive LEaRning for Full Range Head Pose Estimation},
author = {Ting-Ruen Wei and Haowei Liu and Huei-Chung Hu and Xuyang Wu and Yi Fang and Hsin-Tai Wu},
journal= {arXiv preprint arXiv:2412.02066},
year = {2024}
}