基于级联组合学习的实时三维人脸跟踪
计算机视觉与模式识别
2021-04-07 v1
摘要
我们提出学习级联的全局优化模块化增强蕨类（GoMBF）来解决从单目RGB相机进行实时三维人脸跟踪的多模态面部运动回归问题。GoMBF是多个回归模型的深度组合，其中每个模型为增强蕨类，初始训练用于预测同一模态的部分运动参数，随后通过全局优化步骤拼接在一起，形成可高效处理整体回归目标的单一强增强蕨类。它能显式应对输出变量中的模态多样性，同时相比传统增强蕨类表现出更强的拟合能力与更快的学习速度。通过进一步级联一系列GoMBF（GoMBF-Cascade）以回归面部运动参数，我们在多种自然场景视频上取得了与SOTA方法竞争的跟踪性能，而后者需要更多训练数据或具有更高计算复杂度。它提供了一种鲁棒且极为简洁的实时三维人脸跟踪方案，仅使用少量训练数据，因而更适用于实际应用。
引用
@article{arxiv.2009.00935,
title = {Real-time 3D Facial Tracking via Cascaded Compositional Learning},
author = {Jianwen Lou and Xiaoxu Cai and Junyu Dong and Hui Yu},
journal= {arXiv preprint arXiv:2009.00935},
year = {2021}
}