HoloFace：在HoloLens上增强人与人交互
计算机视觉与模式识别
2018-02-02 v1
摘要
我们提出HoloFace，一个用于Microsoft HoloLens的人脸对齐、头部姿态估计与面部属性检索的开源框架。HoloFace实现了两种可互换的SOTA人脸对齐方法：一种在本地运行，一种在远端后端运行。头部姿态估计通过将可变形三维模型拟合到利用人脸对齐定位的关键点来完成。头部姿态提供头部的旋转以及世界空间中的位置。拟合的三维人脸模型的参数提供诸如张嘴或微笑等面部属性的估计。上述信息 together 可用于增强HoloLens用户所看到的人的面部，从而增强其交互。潜在的使用场景包括人脸识别、情绪识别、视线追踪等许多其他应用。我们通过将各种物体与动画叠加到透过HoloLens看到的人的面部，展示了我们框架的能力。
引用
@article{arxiv.1802.00278,
title = {HoloFace: Augmenting Human-to-Human Interactions on HoloLens},
author = {Marek Kowalski and Zbigniew Nasarzewski and Grzegorz Galinski and Piotr Garbat},
journal= {arXiv preprint arXiv:1802.00278},
year = {2018}
}
备注
9 pages, 7 figures, 2018 IEEE Winter Conference on Applications of Computer Vision (WACV 2018), YouTube video: https://www.youtube.com/watch?v=Zexjx9VWkSU