DeepQC:一种用于原位土壤湿度传感器时间序列数据自动质量控制的深度学习系统
机器学习
2023-11-14 v1 人工智能
摘要
在气候变化的背景下,实时土壤湿度监测对于开发季内决策支持工具以帮助农民管理天气相关风险至关重要。精准可持续农业(PSA)最近在美国中部、中西部和东部建立了一个实时土壤湿度监测网络,但田间尺度传感器观测常伴随数据缺失与异常。为维持决策工具开发所需的数据质量,有必要建立质量控制系统。国际土壤湿度网络(ISMN)引入了 Flagit 模块用于土壤湿度观测中的异常检测。然而,在特定条件下,Flagit 的质量控制方法在识别异常方面可能表现不佳。近来深度学习方法已成功应用于多学科时间序列数据的异常检测,但其在农业中的使用尚未被研究。本研究致力于开发一种称为 DeepQC 的双向长短期记忆(LSTM)模型,以识别土壤湿度数据中的异常。人工标记的 PSA 观测数据按 80:10:10 划分用于模型的训练、验证与测试。随后研究比较了 DeepQC 与基于 Flagit 的估计以评估其相对性能。Flagit 正确标记了 95.5% 的正确观测和 50.3% 的异常观测,表明其在异常识别上的局限。另一方面,DeepQC 在显著更短的时间内正确标记了 99.7% 的正确观测和 95.6% 的异常,展现出相对于 Flagit 方法的优越性。重要的是,DeepQC 的性能不随异常数量变化而波动。鉴于 DeepQC 取得的 promising 结果,未来研究将聚焦于将该模型部署于国家和全球土壤湿度网络。
引用
@article{arxiv.2311.06735,
title = {DeepQC: A Deep Learning System for Automatic Quality Control of In-situ Soil Moisture Sensor Time Series Data},
author = {Lahari Bandaru and Bharat C Irigireddy and Brian Davis},
journal= {arXiv preprint arXiv:2311.06735},
year = {2023}
}
备注
9 pages, 8 figures