监控遥感数据用于可持续发展目标模型性能的三层 meta 回归分析

机器学习（ML）是利用遥感数据监控和实施联合国可持续发展目标（SDGs）的工具之一。本文报告了关于遥感数据用于监控SDGs的机器学习应用性能的元分析。具体而言，我们旨在 1) 估计平均性能；2) 确定研究之间及研究内部的异质性程度；3) 评估研究特征如何影响模型性能。采用 PRISMA 指南指导，对多个学术数据库进行检索以识别可能相关的研究。对 200 项样本进行随机抽样，由三位审阅者筛选， resulting in 86 项试验涉及 20 项研究及 14 项研究特征。总体准确率是最常报告的绩效指标。采用双弧正弦变换和三层随机效应模型进行分析。最佳模型的平均总体准确率为 0.90 [0.86, 0.92]。模型性能存在显著异质性，其中 64% 的异质性来源于研究之间的差异。唯一显著的特征是多数类的悖现，其解释了 61% 的研究间异质性。其他十三项特征未为模型增添价值。这篇论文最重要的两点洞见如下：1)总体准确率是最流行的绩效指标，却可能是最少有洞察力的指标。其对类别不平衡的敏感性要求对其进行标准化，而这在实践中并不常见。2)该领域需要标准化报告。独立测试集的混淆矩阵报告是比较 ML 分类器之间研究的最重要要素。这些发现凸显了在机器学习应用中确保可靠且可操作性SDG监控和政策制定所需的健全且可比较的评估指标。