面向残障人士更安全的智能家居构建
人机交互
2020-06-11 v1 计算机与社会
摘要
情境感知是保护生命/财产的关键基础，而对于残障人士（即视觉障碍与行动受限者）而言难以维持。本文提出一种称为“SafeAccess”的对话赋能端到端辅助方案，通过提供情境感知来构建更安全的智能家居。SafeAccess 的关键功能为：1) 监测住宅并识别 incoming persons；2) 帮助用户评估 incoming threats（如入室盗窃、抢劫、枪击暴力）；3) 允许用户向亲友安全授权进入住宅。本工作中，我们聚焦于构建用于检测与识别人物、生成图像描述以及设计智能门原型的鲁棒模型。为与系统交互，我们实现了一款对话赋能的智能手机应用，特别用于从亲友的面部图像或视频中创建个性化档案。连接住宅监控摄像头的 Raspberry pi 捕获视频帧并执行变化检测以识别有活动的帧。随后，我们使用 Faster r-cnn 检测人体存在，并利用多任务级联卷积网络（MTCNN）提取人脸。接着，我们使用 FaceNet/支持向量机（SVM）分类器匹配检测到的人脸。系统通过包含 incoming persons 姓名或“unknown”、场景图像、面部描述与上下文信息的 MMS 通知用户。用户可基于收到的通知使用 SafeAccess 应用授权进入或呼叫紧急服务。我们的系统以 0.97 的 F-score 识别人物，并以平均 0.97 的 F-score 识别物品以生成图像描述。
引用
@article{arxiv.2006.05907,
title = {Toward Building Safer Smart Homes for the People with Disabilities},
author = {Shahinur Alam and Md Sultan Mahmud and Mohammed Yeasin},
journal= {arXiv preprint arXiv:2006.05907},
year = {2020}
}