通过异常检测增强的主动学习进行海洋数据质量评估
机器学习
2023-12-19 v1
摘要
海洋与气候研究受益于全球海洋观测倡议，如 Argo、GLOSS 和 EMSO。致力于海洋剖面测量的 Argo 网络生成了海量的观测数据。然而，传感器故障和传输错误导致的数据质量问题需要进行严格的质量评估。包括机器学习在内的现有方法因标注数据有限和数据集不平衡而存在不足。为了应对这些挑战，我们提出了一种用于海洋数据质量评估的 ODEAL 框架，采用主动学习以减少质量评估工作流中人类专家的工作量，并利用异常检测算法进行有效的模型初始化。我们还在五个大规模真实 Argo 数据集上进行了广泛实验，以深入了解我们提出的方法，包括主动学习查询策略和初始集构建方法的有效性。结果表明，与随机采样相比，我们的框架使用基于不确定性的查询策略将质量评估效率提升了高达 465.5%，并使用异常检测器构建的初始集将总体标注成本最多降低了 76.9%。
引用
@article{arxiv.2312.10817,
title = {Ocean Data Quality Assessment through Outlier Detection-enhanced Active Learning},
author = {Na Li and Yiyang Qi and Ruyue Xin and Zhiming Zhao},
journal= {arXiv preprint arXiv:2312.10817},
year = {2023}
}
备注
2023 IEEE International Conference on Big Data (IEEE BigData 2023)