关于在内容排序中使用非参与信号的已知情况
社会与信息网络
2024-02-13 v1
摘要
许多在线平台主要根据预测的用户参与度对项目进行排序。我们认为，纳入非参与信号具有巨大的未开发潜力，可以改善平台和整个社会的成果。基于与来自业界和学术界的专家进行的为期一天的研讨会，我们制定了一系列命题，并尽可能根据公开证据（包括定量结果）对每个命题进行了记录。有强有力的证据表明，按预测参与度排序能有效提高用户留存率。然而，通过纳入其他信号（包括项目“质量”代理以及通过“项目级”调查询问用户想看什么），可以进一步提高留存率。也有证据表明，“多样化参与”是一种有效的质量信号。排序变化可以改变各种自我报告体验（例如骚扰）的普遍性，但很少对用户满意度、福祉、极化等态度指标产生足够大的影响，以至于在典型实验中难以测量。用户对排序的控制通常使用率较低，但一旦使用，它们与质量和项目级调查的相关性很好。关于透明度/可解释性对留存率的影响，没有强有力的证据。有理由相信，生成式 AI 可用于创建更好的质量信号并启用新型的用户控制。
引用
@article{arxiv.2402.06831,
title = {What We Know About Using Non-Engagement Signals in Content Ranking},
author = {Tom Cunningham and Sana Pandey and Leif Sigerson and Jonathan Stray and Jeff Allen and Bonnie Barrilleaux and Ravi Iyer and Smitha Milli and Mohit Kothari and Behnam Rezaei},
journal= {arXiv preprint arXiv:2402.06831},
year = {2024}
}