FourierNets支持用于计算成像的高度非局域光学编码器设计

光学系统的可微仿真可与基于深度学习的重建网络相结合，通过光学编码器与深度解码器的端到端（E2E）联合优化，实现高性能计算成像。这已使得诸如3D定位显微镜、深度估计和无透镜摄影等成像应用可通过优化局域光学编码器实现。更具挑战性的计算成像应用，如将3D体压缩为单张2D图像的3D快照显微镜，需要高度非局域的光学编码器。我们表明，现有深度网络解码器存在局域性偏差，阻碍了此类高度非局域光学编码器的优化。为此，我们采用基于浅层神经网络架构、使用全局核傅里叶卷积神经网络（FourierNets）的解码器。我们展示FourierNets在重建由高度非局域的DiffuserCam光学编码器捕获的照片时超越现有基于深度网络的解码器。进一步，我们展示FourierNets支持用于3D快照显微镜的高度非局域光学编码器的E2E优化。通过将FourierNets与大规模多GPU可微光学仿真结合，我们得以优化比先前最先进水平大170$\times$至7372$\times$的非局域光学编码器，并展示了利用可编程显微镜实现ROI类型特定光学编码的潜力。