用于滥用语言检测的深度提示多任务网络
计算与语言
2024-06-25 v2 机器学习
摘要
随着社交网络的广泛使用，滥用语言的检测仍然是一个长期存在的挑战。滥用语言检测任务的准确率有限。我们认为，现有的检测方法利用预训练语言模型（PLMs）的微调技术来处理下游任务。因此，这些方法未能激发 PLMs 的通用知识。为了解决这个问题，我们提出了一种用于滥用语言检测的新型深度提示多任务网络（DPMN）。具体而言，DPMN 首先尝试为 PLMs 设计两种形式的深度提示微调和轻量提示微调。研究了不同提示长度、微调策略和提示初始化方法对检测滥用语言的影响。此外，我们提出了一种基于 Bi-LSTM 和 FFN 的任务头，可用作短文本分类器。最终，DPMN 利用多任务学习进一步提高检测指标。多任务网络具有转移有效知识的功能。提出的 DPMN 在三个公共数据集 OLID、SOLID 和 AbuseAnalyzer 上与八种典型方法进行了评估。实验结果表明，我们的 DPMN 优于最先进的方法。
引用
@article{arxiv.2403.05268,
title = {Deep Prompt Multi-task Network for Abuse Language Detection},
author = {Jian Zhu and Yuping Ruan and Jingfei Chang and Wenhui Sun and Hui Wan and Jian Long and Cheng Luo},
journal= {arXiv preprint arXiv:2403.05268},
year = {2024}
}
备注
Accepted by the International Conference on Pattern Recognition (ICPR) 2024