面向冬小麦分割的 PEFT 技术实证研究
计算机视觉与模式识别
2023-11-28 v2 人工智能
计算与语言
机器学习
摘要
参数高效微调（PEFT）技术近来增长显著，并已被广泛用于使大型视觉与语言模型适配各领域，以最小计算需求获得令人满意的模型性能。尽管有这些进展，更多研究尚未深入探索 PEFT 在真实场景中的潜在应用，尤其是在遥感与作物监测等关键领域。不同区域气候的多样性以及对综合大规模数据集的需求，给跨地理区位与生长季变化准确识别作物类型带来了显著障碍。本研究通过全面探索使用最先进（SOTA）小麦作物监测模型进行跨区域与跨年分布外泛化的可行性，力求弥合此差距。本工作的目标是探索用于作物监测的 PEFT 方法。具体而言，我们聚焦于适配 SOTA 的 TSViT 模型以解决冬小麦田分割，这是作物监测与粮食安全中的关键任务。该适配过程集成了不同 PEFT 技术，包括 BigFit、LoRA、Adaptformer 与提示微调（prompt tuning）。借助 PEFT 技术，我们取得了与全微调方法相当的可观结果，而仅训练了整个 TSViT 架构中区区 0.7% 的参数。所称的 Beqaa-Lebanon 数据集为内部标注数据集，包含小麦与非小麦类的高质量标注多边形，总面积 170 km²，跨越连续五年。利用 Sentinel-2 影像，我们的模型取得了 84% 的 F1 分数。我们拟公开黎巴嫩冬小麦数据集、代码仓库与模型权重。
引用
@article{arxiv.2310.01825,
title = {Empirical Study of PEFT techniques for Winter Wheat Segmentation},
author = {Mohamad Hasan Zahweh and Hasan Nasrallah and Mustafa Shukor and Ghaleb Faour and Ali J. Ghandour},
journal= {arXiv preprint arXiv:2310.01825},
year = {2023}
}