基于流形约束优化的地理空间 Transformer 压缩
计算机视觉与模式识别
2026-01-15 v1 人工智能
摘要
在资源受限的边缘设备上部署地理空间基础模型，需要保持高下游性能的紧凑型架构。然而，这些模型的大参数数量以及压缩常导致的精度损失限制了实际采用。本文利用流形约束优化框架 DLRT 在迁移学习期间压缩大型基于视觉变换器的地理空间基础模型。通过强制执行与下游目标对齐的结构化低维参数化，该方法在保持任务特定精度的同时实现了强大的压缩。我们展示，该方法优于 LoRA 等即插即用低秩方法。实验在多样化的地理空间基准测试上表明，方法实现了显著的参数压缩，同时保持了最小的精度损失，使能够在设备上实现高性能的地理空间模型。
引用
@article{arxiv.2601.08882,
title = {Compressing Vision Transformers in Geospatial Transfer Learning with Manifold-Constrained Optimization},
author = {Thomas Snyder and H. Lexie Yang and Stefan Schnake and Steffen Schotthöfer},
journal= {arXiv preprint arXiv:2601.08882},
year = {2026}
}