测试 MediaPipe Holistic 在手语非手部标记语言学研究中的应用
计算机视觉与模式识别
2024-03-27 v2
摘要
深度学习的进步使得对人体和面部进行可靠的 landmark 跟踪成为可能，这可用于各种任务。我们测试了近期的一种计算机视觉解决方案 MediaPipe Holistic (MPH)，以查明其对面部特征的跟踪是否足够可靠，能够对手语数据进行语言学分析，并将其与较旧的解决方案（OpenFace, OF）进行了比较。我们使用了一个现有的哈萨克-俄罗斯手语句子数据集，以及一个新创建的包含头部倾斜和眉毛运动的小型视频数据集。我们发现 MPH 在眉毛运动的语言学分析方面表现不够好——但其表现不佳的方式与 OF 不同，OF 在未经校正的情况下表现也很差。我们重申了先前的建议，即训练额外的校正模型以克服这些局限性。
引用
@article{arxiv.2403.10367,
title = {Testing MediaPipe Holistic for Linguistic Analysis of Nonmanual Markers in Sign Languages},
author = {Anna Kuznetsova and Vadim Kimmelman},
journal= {arXiv preprint arXiv:2403.10367},
year = {2024}
}