盲画家的天使女孩：经多模态评估方法验证的高效绘画导航系统
多媒体
2021-07-28 v1 人工智能
计算机视觉与模式识别
摘要
对于热爱绘画却不巧有视觉障碍的人，执笔创作是一件非常困难的事。这一特殊群体渴望拿起画笔，像 Leonardo da Vinci 一样创作并充分发挥自己的才华。因此，为最大程度弥合这一差距，我们提出一种绘画导航系统以辅助盲人绘画与艺术创作。所提系统由认知系统与引导系统组成。系统采用基于 QR 码的画板定位、基于目标检测的画笔导航与笔刷实时定位。同时，本文使用基于语音的人机交互以及一种简单而高效的位置信息编码规则。此外，我们设计了一种准则来高效判断笔刷是否到达目标。根据实验结果，从测试者面部提取的热力图曲线表明，该系统被蒙眼甚至盲人测试者相对较好地接受。在 1s 的提示频率下，绘画导航系统表现最佳，完成度达 89%（SD 为 8.37%），溢出度达 347%（SD 为 162.14%）。同时，优与良类型的笔尖轨迹占比 74%，相对移动距离为 4.21（SD 为 2.51）。本工作表明盲人通过手中画笔感知世界是可行的。未来，我们计划将 Angle's Eyes 部署于手机上以使其更便携。所提绘画导航系统的演示视频见：https://doi.org/10.6084/m9.figshare.9760004.v1。
引用
@article{arxiv.2107.12921,
title = {Angel's Girl for Blind Painters: an Efficient Painting Navigation System Validated by Multimodal Evaluation Approach},
author = {Hang Liu and Menghan Hu and Yuzhen Chen and Qingli Li and Guangtao Zhai and Simon X. Yang and Xiao-Ping Zhang and Xiaokang Yang},
journal= {arXiv preprint arXiv:2107.12921},
year = {2021}
}
备注
13 pages, 18 figures