一种基于深度学习的可穿戴医疗物联网设备用于 AI 赋能的听觉辅助自动化
人机交互
2020-05-19 v1 计算机视觉与模式识别
计算机与社会
摘要
随着人工智能（AI）尤其是深度学习技术的近期蓬勃发展，数字医疗是可从 AI 赋能功能中获益的普遍领域之一。本研究提出了一种新颖的 AI 赋能物联网（IoT）设备，运行于 ESP-8266 平台，能够帮助听力受损或失聪者在对话中与他人交流。在所提出的方案中，创建了一个服务器应用，利用谷歌在线语音识别服务将接收到的对话转换为文本，然后部署到附于眼镜的微型显示器上，向失聪者显示对话内容，以使其能与普通人群正常交流并提供帮助。此外，为提升对交通或危险场景的警报，使用深度学习模型 Inception-v4 结合迁移学习开发了一个“城市紧急”分类器，以检测/识别警示/报警声音，如喇叭声或火警，并生成文本以提醒潜在用户。Inception-v4 的训练在消费级台式 PC 上进行，随后部署到基于 AI 的 IoT 应用中。实证结果表明，所开发的原型系统在声音识别与分类上达到了 92% 的准确率，并具有实时性能。
引用
@article{arxiv.2005.08076,
title = {A Deep Learning based Wearable Healthcare IoT Device for AI-enabled Hearing Assistance Automation},
author = {Fraser Young and L Zhang and Richard Jiang and Han Liu and Conor Wall},
journal= {arXiv preprint arXiv:2005.08076},
year = {2020}
}