基于多时间分辨率帧间运动散度的三维唇部事件检测
计算机视觉与模式识别
2021-11-19 v1
摘要
说话时嘴唇是面部主导的动态单元。检测唇部事件有益于语音分析及对听障者的辅助。本文提出一种三维唇部事件检测流程，可从三维说话唇序列中自动判定唇部事件。我们利用三维唇部标志点定义运动散度度量，以量化三维说话唇的帧间动态。随后，我们将帧间运动检测置于多时间分辨率框架中，使检测可适用于不同说话速度。在S3DFM数据集上的实验基于所提运动散度考察了整体三维唇部动态。所提三维流程能够在100个序列中检测张口与闭口唇部事件，取得了当前最优性能。
引用
@article{arxiv.2111.09485,
title = {3D Lip Event Detection via Interframe Motion Divergence at Multiple Temporal Resolutions},
author = {Jie Zhang and Robert B. Fisher},
journal= {arXiv preprint arXiv:2111.09485},
year = {2021}
}