通过阈值优化从多子任务得到可靠决策:实际场景中的内容审核
机器学习
2023-01-27 v5 计算机与社会
社会与信息网络
摘要
社交媒体平台努力通过内容审核保护用户免受有害内容侵害。这些平台近来利用机器学习模型来应对每日海量的用户生成内容。由于审核策略因国家与产品类型而异,通常为每种策略训练并部署相应模型。然而,该方法效率极低,尤其在策略变更时,需要对偏移的数据分布重新标注数据集并重新训练模型。为缓解此成本低效,社交媒体平台常采用第三方内容审核服务,其提供多子任务(如预测未成年人存在、粗鲁手势或武器)的预测分数,而非直接给出最终审核决策。但是,从多子任务的预测分数针对特定目标策略做出可靠的自动化审核决策尚未被广泛探索。本研究中,我们形式化内容审核的真实场景,并引入一种简单而有效的阈值优化方法,以经济高效的方式搜索多子任务的最优阈值从而做出可靠的审核决策。大量实验表明,相较现有阈值优化方法与启发式规则,我们的方法在内容审核中表现更优。
引用
@article{arxiv.2208.07522,
title = {Reliable Decision from Multiple Subtasks through Threshold Optimization: Content Moderation in the Wild},
author = {Donghyun Son and Byounggyu Lew and Kwanghee Choi and Yongsu Baek and Seungwoo Choi and Beomjun Shin and Sungjoo Ha and Buru Chang},
journal= {arXiv preprint arXiv:2208.07522},
year = {2023}
}
备注
WSDM2023 (Oral Presentation)