使用微调YOLOv8和计算机视觉技术的马拉雅拉姆语手语识别
计算与语言
2024-05-14 v1 计算机视觉与模式识别
摘要
技术进步和创新正以各种可能的方式推动着我们的日常生活，但社会中仍有很大一部分群体因身体能力受限而无法享受到这些益处。为了让这些有才华和天赋的人也能无障碍地使用这些创新，从而真正惠及社会，许多当今开发的应用程序都在应对这些挑战，但本地化社区和其他受限制的语言群体可能会发现它们难以使用。马拉雅拉姆语是印度喀拉拉邦使用的一种达罗毗荼语系语言，也是印度22种官方语言之一。近年来，针对喀拉拉邦需求的马拉雅拉姆语系统和工具的开发激增，但其中许多并未从同理心出发设计以满足听障人士的需求。主要挑战之一是马拉雅拉姆语手语数据有限或缺失，且在这方面投入的努力不足。鉴于此，本文提出了一种利用先进深度学习和计算机视觉技术进行马拉雅拉姆语手语识别的方法。我们首先为马拉雅拉姆语字母开发了一个标注数据集，然后使用YOLOv8等先进的深度学习技术和计算机视觉技术进行识别。实验结果表明，其识别准确率与其他手语识别系统相当，其他手语识别领域的研究人员可以将该模型作为基线来开发更先进的模型。
引用
@article{arxiv.2405.06702,
title = {Malayalam Sign Language Identification using Finetuned YOLOv8 and Computer Vision Techniques},
author = {Abhinand K. and Abhiram B. Nair and Dhananjay C. and Hanan Hamza and Mohammed Fawaz J. and Rahma Fahim K. and Anoop V. S},
journal= {arXiv preprint arXiv:2405.06702},
year = {2024}
}