二值化低光原始视频增强

近年来，深度神经网络在低光原始视频增强方面取得了优异性能。然而，它们通常伴随着高计算复杂度和大量内存开销，这阻碍了它们在资源受限设备上的应用。在本文中，我们探索了将极其紧凑的二值神经网络(BNN)应用于低光原始视频增强的可行性。然而，二值化视频增强模型存在两个主要问题。一是如何在不使用复杂模块的情况下融合时间信息以改善低光去噪。二是如何缩小二值卷积与全精度卷积之间的性能差距。针对第一个问题，我们引入了一种时空移位操作，该操作易于二值化且有效。时间移位有效地聚合了相邻帧的特征，空间移位处理了视频中大运动引起的未对准。针对第二个问题，我们提出了一种分布感知二值卷积，它捕获实值输入的分布特征，并将其融入普通二值卷积中，以缓解性能下降。大量的定量和定性实验表明，我们高效二值化低光原始视频增强方法能够取得有前景的性能。