基于任务感知缓解性别歧视、仇恨言论与有毒语言检测中的负迁移
计算与语言
2023-07-10 v1 机器学习
摘要
本文提出一种缓解负迁移问题的新方法。在机器学习领域，常见策略是采用单任务学习（Single-Task Learning）方法来训练有监督模型以解决特定任务。训练一个鲁棒模型需要大量数据与可观的计算资源，这使得在数据不可得或收集成本高昂的情况下该方案不可行。因此，另一种基于任务间信息共享的方案被提出：多任务学习（MTL）。尽管 MTL 近期有所发展，负迁移问题仍有待解决。负迁移是指任务间共享含噪信息导致性能下降的现象。本文提出一种基于任务感知概念缓解负迁移问题的新方法。所提方法在减少负迁移的同时，相较经典 MTL 方案提升了性能。此外，所提方法已在两个统一架构中实现，用于检测文本评论中的性别歧视、仇恨言论与有毒语言。所提架构在 EXIST-2021 与 HatEval-2019 基准上均刷新了最优性能（SOTA）。
引用
@article{arxiv.2307.03377,
title = {Mitigating Negative Transfer with Task Awareness for Sexism, Hate Speech, and Toxic Language Detection},
author = {Angel Felipe Magnossão de Paula and Paolo Rosso and Damiano Spina},
journal= {arXiv preprint arXiv:2307.03377},
year = {2023}
}
备注
8 pages, 2 figures, 5 tables, IJCNN 2023 conference