视觉神经植入物的交互式语义分割

视觉损伤对全球许多个人构成重大挑战，影响日常活动和生活质量。视觉神经植入物提供了一条有前景的解决方案，利用技术进步提供简化的视觉感受，由摄像头、计算机和植入电极构成。本研究探讨了面向视觉神经植入物的phosphene视觉算法的用户中心设计原则，利用来自视力受损个体的反馈指导开发了基于注视控制的语义分割系统。我们进行了访谈，揭示了关键设计原则。这些原则信息化了基于Segment Anything Model (SAM)的注视引导语义分割算法的实现。在模拟phosphene视觉环境中，参与者在SAM、边缘检测和正常视觉条件下执行目标检测任务。SAM在边缘检测之外提高了识别准确率，在复杂场景中仍然有效，尤其对特定目标形状具有鲁棒性。这些发现表明用户反馈的价值，以及基于注视引导的语义分割提高了神经植入物视觉功能的潜力。