面向有限训练数据的停电检测任务的迁移学习
计算与语言
2023-05-30 v1 应用统计
摘要
停电的早期检测对于维持可靠的配电系统至关重要。本研究探讨了在标注数据有限的情况下，利用迁移学习和语言模型进行停电检测的方法。通过预训练和迁移学习，模型可以泛化到未见过的类别。利用一个与停电相关的社交媒体推文的精选平衡数据集，我们进行了零样本和小样本学习的实验。我们的假设是，使用有限数据预训练的语言模型在停电检测任务上能够取得优于基线模型的性能。结果表明，虽然经典模型优于零样本语言模型，但小样本微调显著提升了它们的性能。例如，在 10% 微调下，BERT 达到 81.3% 准确率（+15.3%），GPT 达到 74.5% 准确率（+8.5%）。这对于在可用数据有限的场景下分析和定位停电具有实际意义。我们的评估为语言模型在小样本微调用于停电检测方面的潜力提供了见解，突出了其优势与局限。本研究为利用先进自然语言处理技术管理关键基础设施的知识库作出了贡献。
引用
@article{arxiv.2305.17817,
title = {Transfer Learning for Power Outage Detection Task with Limited Training Data},
author = {Olukunle Owolabi},
journal= {arXiv preprint arXiv:2305.17817},
year = {2023}
}