面向高效多任务地球观测建模的神经嵌入压缩
机器学习
2024-07-11 v5
摘要
随着地球观测 (EO) 数据仓库的规模不断增长，模型训练和推理的传输和存储成本也随之增加，耗费巨大资源。我们提出了神经嵌入压缩 (NEC) 技术，通过将压缩后的嵌入传输给数据消费者以避免原始数据的传输。我们通过学习的神经压缩方法对基础模型 (FM) 进行适配，以生成多任务嵌入，同时在压缩率和嵌入实用性之间进行权衡。我们仅对 FM 参数的少数部分 (10%) 进行短暂训练 (相当于预训练迭代次数的 1%)。我们在两个 EO 任务上评估了 NEC：场景分类和语义分割。与对原始数据应用传统压缩方法相比，NEC 在数据压缩率上实现了 75%~90% 的降低，同时保持类似的准确率。即使在 99.7% 压缩率下，场景分类任务的性能也仅下降 5%。总体而言，NEC 是一种数据高效且性能可靠的多任务地球观测建模方法。
引用
@article{arxiv.2403.17886,
title = {Neural Embedding Compression For Efficient Multi-Task Earth Observation Modelling},
author = {Carlos Gomes and Thomas Brunschwiler},
journal= {arXiv preprint arXiv:2403.17886},
year = {2024}
}
备注
Published at IGARSS 2024