利用多模态学习克服在线内容分类中的语言差异
机器学习
2022-05-20 v1 计算机与社会
多媒体
摘要
自然语言处理(NLP)的进展革新了研究者和从业者解决关键社会问题的方式。大语言模型现已成为开发文本检测与分类任务前沿解决方案的标准。然而,先进计算技术与资源的开发不成比例地聚焦于英语,忽视了全球大多数语言。尽管现有研究已开发出更好的多语言与单语言模型以弥合英语与非英语语言间的差异,我们探索通过多模态机器学习引入图像中所含信息的潜力。我们在聚焦于危机信息、假新闻和情绪识别的三个检测任务以及五种高资源非英语语言上的对比分析表明:(a) 基于 BERT 和多语言 BERT 等预训练大语言模型的检测框架在英语上的表现系统性地优于非英语语言;(b) 通过多模态学习引入图像可弥合这一性能差距。我们将发现置于现有关于大语言模型缺陷的研究背景下,并讨论其理论与实际意义。本文资源见 https://multimodality-language-disparity.github.io/。
引用
@article{arxiv.2205.09744,
title = {Overcoming Language Disparity in Online Content Classification with Multimodal Learning},
author = {Gaurav Verma and Rohit Mujumdar and Zijie J. Wang and Munmun De Choudhury and Srijan Kumar},
journal= {arXiv preprint arXiv:2205.09744},
year = {2022}
}
备注
Accepted for publication at ICWSM 2022 as a full paper