OSPC：用于仇恨段落检测的人工VLM特征
计算与语言
2024-07-19 v1 人工智能
机器学习
摘要
数字革命和万维网的出现改变了人类交流方式，尤其体现在表情包的兴起上。尽管表情包是一种流行且直观的表达方式，但它们也可能被用于传播误information和仇恨内容， due to their anonymity and ease of use. 为应对这些挑战，本文介绍了由团队“Baseline”为AI Singapore Online Safety Prize Challenge开发的解决方案。该解决方案聚焦于计算效率和特征工程，在测试数据集上实现了0.76的AUROC和0.69的准确率。作为关键特征，解决方案利用大型视觉语言模型(VLM)固有的概率能力，从文本中生成任务适应的特征编码，并应用针对新加坡特定文化细微差别的蒸馏量化。这种处理和微调可适用于各种视觉和文本理解与分类任务，甚至可用于OpenAI的GPT等私有VLM。最终它可以消除对大型GPU上广泛模型训练的需求，同时为数据稀缺或不可用的应用提供解决方案。
引用
@article{arxiv.2407.12836,
title = {OSPC: Artificial VLM Features for Hateful Meme Detection},
author = {Peter Grönquist},
journal= {arXiv preprint arXiv:2407.12836},
year = {2024}
}