UNITYAI-GUARD：面向低资源印度语言的毒性检测先驱
计算与语言
2025-07-08 v2 人工智能
摘要
本工作介绍了UnityAI-Guard，一个针对低资源印度语言的二元毒性分类框架。尽管现有系统主要服务于高资源语言，UnityAI-Guard通过开发最先进的模型来识别多种婆罗米系/印度语系文字中的有毒内容，从而填补了这一关键空白。我们的方法利用包含56.7万条训练实例和3万条人工验证测试实例的数据集，在七种语言中实现了84.23%的平均F1分数。通过推进语言多样性地区的多语言内容审核，UnityAI-Guard还提供了公共API访问，以促进更广泛的采用与应用。
引用
@article{arxiv.2503.23088,
title = {UNITYAI-GUARD: Pioneering Toxicity Detection Across Low-Resource Indian Languages},
author = {Himanshu Beniwal and Reddybathuni Venkat and Rohit Kumar and Birudugadda Srivibhav and Daksh Jain and Pavan Doddi and Eshwar Dhande and Adithya Ananth and Kuldeep and Mayank Singh},
journal= {arXiv preprint arXiv:2503.23088},
year = {2025}
}