利用听觉刺激对图像进行跨模态编码：一种面向视障者的语言
神经元与认知
2017-05-16 v1
摘要
在本研究中，我们描述了一种通过听觉通道进行跨模态刺激以实现广义视觉图像认知的方法。我们建立了一个从二维图像到声音的原创转换算法，并在若干受试者上进行了测试。我们的结果表明，受试者能够以95%的精度分辨对应于不同测试几何形状的不同声音。此外，在对简单图像进行简短学习后，受试者能够在一组16张复杂且从未训练过的图像中，通过聆听其声学对应物识别出单个目标。研究发现识别率依赖于图像特征，在90%的案例中，受试者的表现优于随机选取。本研究有助于理解跨模态感知，并有助于实现利用声学信号帮助视障人士识别物体和改善导航的系统。
引用
@article{arxiv.1705.05074,
title = {Cross-modal codification of images with auditory stimuli: a language for the visually impaired},
author = {Takahisa Kishino and Sun Zhe and Roberto Marchisio and Ruggero Micheletto},
journal= {arXiv preprint arXiv:1705.05074},
year = {2017}
}