在线社交网络中社区标准违规的不确定性估计
人工智能
2020-10-01 v1
摘要
在线社交网络(OSNs)为用户提供了一个平台,使其能与好友社群或公众分享自己的想法与观点。为使平台对所有用户安全,并符合当地法律,OSNs 通常会制定一套组织为若干政策组的社区标准,并使用机器学习(ML)模型来识别并移除违反任一政策的内容。然而,在每日上传的数十亿内容中,仅有极小部分属于如此明确违规、可由自动化模型移除。流行度估计(prevalence estimation)的任务是通过将一小部分残余条目送交人工标注者以获取真值标签,来估计其中违规内容的比例。该任务极其困难,因为尽管我们可以轻松获得数十亿条目的 ML 分数或特征,但由于实际考量,我们只能对其中几千条获取真值标签。事实上,流行度可能极低,以至于即便经过审慎的标注条目选择,仍会有许多天连一条被标为违规的条目都没有。对于 至 这种低流行度区间,一个务实的选择是报告考虑了采样与标注过程不确定性并给出平滑估计的上界,或 置信区间流行度(UBP)。本文提出两种用于该 UBP 任务的新技术——分桶 Beta-二项(Bucketed-Beta-Binomial)与分桶高斯过程(Bucketed-Gaussian Process),并在真实与模拟数据上证明,其覆盖性远优于常用的自助法(bootstrapping)技术。
引用
@article{arxiv.2009.14519,
title = {Uncertainty Estimation For Community Standards Violation In Online Social Networks},
author = {Narjes Torabi and Nimar S. Arora and Emma Yu and Kinjal Shah and Wenshun Liu and Michael Tingley},
journal= {arXiv preprint arXiv:2009.14519},
year = {2020}
}