用于高效星上深度神经网络处理的低精度浮点
机器学习
2023-11-21 v1 信号处理
摘要
高分辨率地球观测（EO）空间系统的主要瓶颈之一是卫星与地面之间的下行链路。由于硬件限制、星上功率限制或地面站运营成本，强烈需要减少传输数据量。可使用多种处理方法来压缩数据。其中之一是使用星上深度学习提取数据中的相关信息。然而，大多数地基深度神经网络参数和计算使用单精度浮点运算，这不适应星上处理环境。我们提出依赖量化神经网络，并研究如何将低精度（迷你）浮点运算与量化感知训练方法相结合。我们使用Airbus Ship数据集的卫星图像，通过船舶检测的语义分割任务评估我们的方法。结果表明，权重和激活均使用6位浮点量化可在无显著精度下降的情况下与单精度竞争。使用Thin U-Net 32模型，6位迷你浮点量化仅观察到0.3%的精度下降（基于6位等效整数的方法导致0.5%下降）。初步硬件研究也证实了此类低精度浮点设计的潜在影响，但需在完整推理加速器规模上进一步研究，才能断定其在实际星上场景中的适用性。
引用
@article{arxiv.2311.11172,
title = {Low-Precision Floating-Point for Efficient On-Board Deep Neural Network Processing},
author = {Cédric Gernigon and Silviu-Ioan Filip and Olivier Sentieys and Clément Coggiola and Mickaël Bruno},
journal= {arXiv preprint arXiv:2311.11172},
year = {2023}
}
备注
7 pages, 7 figures, EDHPC 2023