基于 RWKV 的内容 moderation 实验
计算与语言
2024-09-09 v1
摘要
本文通过针对性实验探讨了 RWKV 模型在内容 moderation 中的效能。我们引入了一套专为蒸馏到更小模型而设计的新型数据集，以提升内容 moderation 的实践。该数据集涵盖图像、视频、声音和文本数据，这些数据呈现了社会挑战。利用先进的大语言模型（LLMs），我们生成了大量响应——558,958 条文本响应和 83,625 条图像响应——用于训练和细化内容 moderation 系统。我们的核心实验涉及对 RWKV 模型进行微调，利用其 CPU 高效架构以解决大规模内容 moderation 任务。通过突出数据集在知识蒸馏方面的潜力，该研究不仅展示了 RWKV 在提高内容 moderation 系统准确率和效率方面的能力，也为开发更紧凑、资源高效的模型指明了方向。数据集和模型可在 HuggingFace 上找到：https://huggingface.co/modrwkv
引用
@article{arxiv.2409.03939,
title = {Experimentation in Content Moderation using RWKV},
author = {Umut Yildirim and Rohan Dutta and Burak Yildirim and Atharva Vaidya},
journal= {arXiv preprint arXiv:2409.03939},
year = {2024}
}