一种基于时序图像处理与注意力神经网络的河流连通性分类框架

测量河流与溪流中水体的连通性对于有效的水资源管理至关重要。与气候变化相关的极端天气事件增多可能导致河流与溪流连通性的改变。传统的河流流量计部署成本高且仅限于大型河流水体，而红外相机方法是一种低成本、易于部署的替代方案，可用于收集每小时的数据。然而，图像采集需要溪流生态学家每年手动整理（筛选和标注）数万张图像。为改进此工作流程，我们开发了一套自动化的溪流红外相机图像分类系统，该系统由三部分组成：（1）图像处理，（2）图像增强和（3）机器学习。图像预处理包括七个图像质量过滤器、基于植被的亮度方差降低、尺寸调整和底部中心裁剪。使用扩散模型通过可变数量的生成式增强来平衡图像，然后以标注形式传递给机器学习分类模型。通过在我们的框架中使用视觉Transformer架构和时序图像增强，我们能够将新未见站点图像的75%基础准确率提高到90%。我们使用了康涅狄格州能源与环境保护部工作人员在2018-2020年间捕获并标注的数据集。我们的结果表明，时序图像处理与基于注意力的模型相结合，能有效对未见过的河流连通性图像进行分类。