AI-UPV在EXIST 2023中的工作——基于分歧学习机制下使用大语言模型的性别歧视刻画
计算与语言
2023-07-10 v1 计算机与社会
机器学习
摘要
随着社交媒体平台影响力的日益增长，开发能够检测性别歧视及其他不尊重与仇恨行为的自动化系统，以营造更具包容性与尊重的线上环境，已变得至关重要。然而，考虑到不同的仇恨类别与作者意图，尤其在分歧学习机制下，这些任务极具挑战性。本文描述了AI-UPV团队参与CLEF 2023中EXIST（社交网络中的性别歧视识别）实验室的工作。所提方法旨在分歧学习范式下，通过直接从未聚合的分歧数据中进行训练（不使用任何聚合标签）来解决性别歧视识别与刻画任务。同时报告了软评估与硬评估下的性能。所提系统使用大语言模型（即mBERT与XLM-RoBERTa）以及集成策略，对英语和西班牙语进行性别歧视识别与分类。具体而言，我们的系统由三条不同的流水线构成。集成方法优于单个大语言模型，在软标签与硬标签评估下均取得最佳性能。本工作描述了在全部三项EXIST任务中的参与情况，在软评估下，其在EXIST任务2中获第四名、任务3中获第一名，最高ICM-Soft为-2.32，归一化ICM-Soft为0.79。我们方法的源代码公开于https://github.com/AngelFelipeMP/Sexism-LLM-Learning-With-Disagreement。
引用
@article{arxiv.2307.03385,
title = {AI-UPV at EXIST 2023 -- Sexism Characterization Using Large Language Models Under The Learning with Disagreements Regime},
author = {Angel Felipe Magnossão de Paula and Giulia Rizzi and Elisabetta Fersini and Damiano Spina},
journal= {arXiv preprint arXiv:2307.03385},
year = {2023}
}
备注
15 pages, 9 tables, 1 figures, conference