Aikyam：面向聋哑人士的视频会议工具
计算机视觉与模式识别
2023-12-12 v1
摘要
随着疫情的出现，视频会议平台作为通信手段的使用大幅增加，远程机会也随之增多。聋哑人士在沟通中历来面临若干问题，但现在影响更为严重。本文提出一个全面的视频会议工具，可与现有视频会议平台配合使用以解决这些问题。系统从手语者的手势生成语义正确的句子，并由系统进行解释。除了发出该句子的音频外，用户的视频流还用于注释该句子。所有参与者均可查看，从而促进各方之间的顺畅沟通。该工具利用简单的LSTM模型进行手势分类，句子由基于T5的模型构建。为实现所需的数据流，使用了虚拟摄像头。
引用
@article{arxiv.2312.05962,
title = {Aikyam: A Video Conferencing Utility for Deaf and Dumb},
author = {Kshitij Deshpande and Varad Mashalkar and Kaustubh Mhaisekar and Amaan Naikwadi and Archana Ghotkar},
journal= {arXiv preprint arXiv:2312.05962},
year = {2023}
}
备注
6 pages, 4 figures, accepted at the ICSCC, IEEE 2023 conference