知识蒸馏在遥感应用中的研究综述

随着遥感领域模型复杂度的不断提升，日益增多的需求促使我们寻求在模型精度与计算效率之间取得平衡的解决方案。知识蒸馏 (Knowledge Distillation, KD) 已成为满足这一需求的强大工具，使我们能够在不显著牺牲性能的情况下，将知识从大型复杂模型转移到更小更高效的模型上。本综述文章对 KD 及其在遥感中的创新应用进行了广泛考察。KD 是一种将知识从复杂且往往笨重的模型（教师模型）转移到更紧凑高效的模型（学生模型）的技术，已在各个领域取得显著的演进和应用。首先，我们介绍 KD 方法的基本概念和历史演进。突出强调了采用 KD 的优势，特别是在模型压缩、计算效率提升和性能改进方面，这些因素对于实际部署在遥感场景中至关重要。本文提供了 KD 技术的全面分类，并对每个类别进行严格分析，以展示备选方案的广度和深度，同时展示具体案例，展示 KD 方法在遥感任务中（如实例分割和目标检测）的实际应用。进一步讨论了遥感中 KD 的挑战与局限性，包括实际约束和前景发展方向，为遥感领域的研究者和实践者提供了全面概览。通过这种组织方式，本文不仅阐明了 KD 当前的研究状况，也为未来研究机遇铺平了道路，为学术研究和实际应用都作出了重要贡献。