内容审核中的算法任意性

机器学习（ML）被广泛用于审核在线内容。尽管相对于人工审核具有可扩展性，但 ML 的使用给内容审核带来了独特的挑战。其中一个挑战是预测多重性：多个相互竞争的内容分类模型在平均表现上可能同样出色，但却对相同内容赋予相互冲突的预测。这种多重性可能源于模型开发过程中看似无害的选择，例如参数初始化的随机种子选择。我们通过实验展示了内容审核工具如何任意地将样本分类为有毒内容，从而导致对言论的任意限制。我们根据《公民权利和政治权利国际公约》（ICCPR）规定的人权（即言论自由、不歧视和程序正义）讨论了这些发现。我们分析了：(i) 用于检测有毒内容的最先进大语言模型（LLMs）中预测多重性的程度；(ii) 这种任意性对社会群体的不同影响；以及 (iii) 模型多重性与明确的人工分类相比如何。我们的研究结果表明，扩大规模的算法审核冒着合法化“算法利维坦”的风险，即算法不成比例地管理人权。为了减轻此类风险，我们的研究强调了识别并提高内容审核应用中任意性透明度的必要性。由于算法内容审核正受到虚假信息和仇恨言论等紧迫社会问题的推动，我们要关于危害的讨论引发了与政策辩论相关的担忧。我们的发现也有助于许多国家正在讨论和通过的内容审核及中介责任法，例如欧盟的《数字服务法》、英国的《在线安全法》和巴西的《假新闻法案》。