HYBRINFOX at CheckThat! 2024 -- 任务2：通过专家系统VAGO丰富BERT模型用于主观性检测
计算与语言
2024-07-08 v1 人工智能
摘要
本文介绍了用于解决CLEF 2024 CheckThat! 比赛任务2（主观性检测）所使用的HYBRINFOX方法。该方法的独特之处在于采用混合系统，结合了针对主观性检测微调的RoBERTa模型、用于捕获语义的冻结句子BERT (sBERT) 模型，以及由英语版本专家系统VAGO计算的若干分数，后者独立于该任务开发，用于基于词典衡量文本的模糊性和主观性。在英语中，HYBRINFOX方法在评估数据上以宏平均F1分数0.7442的成绩排名第1。对于其他语言，该方法采用翻译步骤至英语，结果呈现不同的排名（在多语言赛中排名第1，在意大利语中超出基准排名第2，但在保加利亚语、德语和阿拉伯语中低于基准）。我们解释了混合方法的原理，概述了该方法在英语之外的其他语言中可能改进的途径。
引用
@article{arxiv.2407.03770,
title = {HYBRINFOX at CheckThat! 2024 -- Task 2: Enriching BERT Models with the Expert System VAGO for Subjectivity Detection},
author = {Morgane Casanova and Julien Chanson and Benjamin Icard and Géraud Faye and Guillaume Gadek and Guillaume Gravier and Paul Égré},
journal= {arXiv preprint arXiv:2407.03770},
year = {2024}
}
备注
To appear in the Proceedings of the Conference and Labs of the Evaluation Forum (CLEF 2024 CheckThat!)