基于光电计算处理器实现的图像端到端压缩与重建：超高速与超低能耗
光学
2025-07-31 v1 图像与视频处理
摘要
AR/VR、遥感、卫星雷达和医疗设备的快速发展，催生了对超高效图像压缩与重建的迫切需求，此需求超出电子处理器的能力。我们首次演示了使用光电计算处理器实现图像的端到端压缩与重建，实现速度和能耗均比电子制品提升数个数量级。其核心是一块 32×32 硅光子计算芯片，单片集成 32 个高速调制器、32 个探测器以及可编程的光子矩阵核心，与必要的控制电子（TIA、ADC、DAC、FPGA 等）一起封装。利用光子矩阵核心的可编程性，该处理器生成可训练的压缩矩阵，实现可调的图像压缩比（从 2 倍到 256 倍），以满足多样化的应用需求。部署定制的轻量级光子集成电路导向网络（LiPICO-Net）后，能够高质量重建压缩后的图像。该方法实现了仅 49.5 皮秒/像素的端到端延迟，能耗仅为 10.6 皮司/像素以下——两项指标均比在最先进 GPU 上运行的经典模型提升 2-3 个数量级。我们在 1.3 亿像素的航空摄影图上进行了验证，实现了实时压缩，而电子系统由于功耗和延迟限制在此难以实现。该工作不仅为大规模图像处理提供了变革性解决方案，也为光子计算应用开辟了新方向。
关键词
引用
@article{arxiv.2507.22374,
title = {End-to-end image compression and reconstruction with ultrahigh speed and ultralow energy enabled by opto-electronic computing processor},
author = {Yuhang Wang and Ang Li and Yihang Shao and Qiang Li and Yang Zhao and Shilong Pan},
journal= {arXiv preprint arXiv:2507.22374},
year = {2025}
}