用于视觉及其他感觉神经假体的刺激编码混合神经自编码器
机器学习
2022-10-20 v2 计算机视觉与模式识别
摘要
感觉神经假体正作为一种有前景的技术兴起，用于恢复丧失的感觉功能或增强人类能力。然而，当前设备引发的感觉往往显得人工化且失真。尽管现有模型可以预测对电刺激的神经或感知响应，最优刺激策略解决的是逆问题：产生期望响应所需的刺激是什么？在此，我们将此框定为端到端优化问题，其中训练一个深度神经网络刺激编码器来反演一个已知且固定的前向模型，该模型近似底层生物系统。作为概念验证，我们展示了这种混合神经自编码器（HNA）在视觉神经假体中的有效性。我们发现 HNA 能生成代表手写数字和日常物体分割图像的高保真、患者特异性刺激，并在所有模拟患者中显著优于常规编码策略。总体而言，这是朝着为不可逆失明者恢复高质量视觉这一长期挑战迈出的重要一步，并可能成为多种神经假体技术中有前景的解决方案。
引用
@article{arxiv.2205.13623,
title = {Hybrid Neural Autoencoders for Stimulus Encoding in Visual and Other Sensory Neuroprostheses},
author = {Jacob Granley and Lucas Relic and Michael Beyeler},
journal= {arXiv preprint arXiv:2205.13623},
year = {2022}
}
备注
NeurIPS 2022 camera ready revision