基于CUDA优化的中央凹视觉系统实时渲染
图像与视频处理
2020-12-17 v1 计算机视觉与模式识别
机器学习
神经元与认知
摘要
随着虚拟现实（VR）和神经网络的发展，人类视觉系统的空间变化视野近来重新受到关注。VR所需的高分辨率渲染的计算需求可通过周边分辨率的节省来抵消，而以中央凹输入训练的神经网络在i.i.d和o.o.d泛化中显示出感知增益。在本文中，我们提出了一种利用CUDA GPU架构的技术，以实时（165 Hz）高效生成基于高斯的高清（1920x1080 px）中央凹图像，其池化区域数量比先前基于高斯的中央凹算法高出数个数量级，生成平滑的中央凹图像，无需进一步混合或拼接，并可良好适配任意对比敏感度函数。所述方法可从高斯模糊调整为任意依赖于偏心率的图像处理，且我们的算法可满足实验需求，以评估生物和人工主体中空间变化处理的作用，从而中央凹化可轻松添加在现有系统之上，而无需强迫其重新设计（仿真中央凹渲染器）。总之，本文展示了如何利用具有CUDA分块架构的GPU进行径向变化渲染，并有机会进行更复杂的后处理以确保同色中央凹方案。代码已提供。
引用
@article{arxiv.2012.08655,
title = {CUDA-Optimized real-time rendering of a Foveated Visual System},
author = {Elian Malkin and Arturo Deza and Tomaso Poggio},
journal= {arXiv preprint arXiv:2012.08655},
year = {2020}
}
备注
16 pages, 13 figures, presented at the Shared Visual Representations in Human and Machine Intelligence Workshop (SVRHM NeurIPS 2020)