利用面部关键点跟踪确定美国手语句型的分类模型用于手语识别
图像与视频处理
2023-05-12 v3
摘要
聋人和听力障碍群体以美国手语（ASL）作为主要交流方式，但与不懂 ASL 的人沟通可能很困难，尤其在无翻译可用的紧急情况下。为缓解此问题，基于计算机视觉的实时 ASL 翻译模型研究正在进行。然而，多数模型基于手形（手势）且缺乏面部线索的整合，而面部线索在 ASL 中对于传达语气和区分句型至关重要。因此，在计算机视觉 ASL 翻译模型中整合面部线索有望提升性能与可靠性。本文提出一种简单、计算高效的基于面部表情的分类模型，可用于改进 ASL 翻译模型。该模型利用面部关键点的相对角度结合主成分分析与随机森林分类树模型，对 ASL 使用者打完整句子的视频帧进行分类，将帧分类为陈述或断言。模型准确率达 86.5%。
引用
@article{arxiv.2211.12723,
title = {A Classification Model Utilizing Facial Landmark Tracking to Determine Sentence Types for American Sign Language Recognition},
author = {Janice Nguyen and Y. Curtis Wang},
journal= {arXiv preprint arXiv:2211.12723},
year = {2023}
}