通过眼睛流式传输图像：被视为抖动可扩展图像编码器的视网膜

我们提出了一种受哺乳动物视网膜启发的原创可扩展图像编解码器设计。我们的编码器考虑了实际视网膜的时间依赖性和非确定性行为。本工作带来两个主要贡献：作为第一步，(i) 我们设计了一个确定性图像编码器，模拟了大多数视网膜处理阶段，然后 (ii) 我们在编码过程中引入了视网膜噪声，在此将其建模为抖动信号，以获得有趣的感知特征。关于我们的第一个贡献，我们的主要灵感来源是称为 Virtual Retina 的生物学合理视网膜模型。该编码器的主要新颖之处在于表明视网膜细胞的时间依赖性行为可以以隐式方式确保可扩展性和比特分配。关于我们的第二个贡献，我们重新审视了视网膜的内层。我们对神经生理学家在其输出中观察到的非确定性提出了一种可能的解释。为此，我们将这些层中发生的视网膜噪声建模为抖动信号。我们提出的抖动过程为我们的图像编码器增加了几个有趣的特征。抖动噪声使重建误差白化并使其与输入刺激去相关。此外，将抖动噪声集成到我们的编码器中，允许在解码过程中更快地识别图像的精细细节。我们当前论文的目标有两个方面。首先，我们旨在尽可能紧密地模拟视网膜以设计一种新型图像编码器，同时保持令人鼓舞的性能。其次，我们就视网膜的非确定性行为带来了新的见解。