面向太阳动力学观测台图像的上下文感知神经视频压缩
图像与视频处理
2023-09-20 v1 太阳与恒星天体物理
计算机视觉与模式识别
信息论
机器学习
math.IT
摘要
NASA 的太阳动力学观测台（SDO）任务收集了关于太阳日常活动的大量数据。数据压缩对于空间任务至关重要，可通过消除数据中的冗余来降低数据存储与视频带宽需求。本文中，我们提出一种专为 SDO 图像设计的基于 Transformer 的新型神经视频压缩方法。我们的主要目标是高效利用太阳图像固有的时间与空间冗余，以获得高压缩比。我们提出的架构受益于一种称为融合局部感知窗口（FLaWin）的新型 Transformer 模块，其结合了基于窗口的自注意力模块与高效的融合局部感知前馈（FLaFF）网络。该架构设计使我们能够同时捕获短程与长程信息，并促进丰富且多样的上下文表示的提取。此外，该设计选择降低了计算复杂度。实验结果表明，FLaWin Transformer 模块对压缩性能有显著贡献，在率失真权衡方面优于 H.264 和 H.265 等传统手工设计视频编解码器。
引用
@article{arxiv.2309.10784,
title = {Context-Aware Neural Video Compression on Solar Dynamics Observatory},
author = {Atefeh Khoshkhahtinat and Ali Zafari and Piyush M. Mehta and Nasser M. Nasrabadi and Barbara J. Thompson and Michael S. F. Kirk and Daniel da Silva},
journal= {arXiv preprint arXiv:2309.10784},
year = {2023}
}
备注
Accepted to IEEE 22$^{nd}$ International Conference on Machine Learning and Applications 2023 (ICMLA) - Selected for Oral Presentation