因果推断在在线平台上的用户能动性困境

在线平台定期开展随机实验，以了解平台改动如何对各类关注的结果产生因果影响。然而，在线平台上的实验被批评存在诸多问题，其中包括缺乏有意义的监督与用户同意。随着平台赋予用户更大的能动性，开展观察性研究成为可能：用户自我选择进入所关注的处理组，以此替代由平台控制用户是否接受处理的实验。本文在 Twitter 上开展了四项大规模研究内比较，旨在评估基于在线平台用户自我选择的观察性研究的有效性。在研究内比较中，观察性研究的处理效应根据其能在多大程度上复现针对同一目标总体的随机实验结果来评估。我们测试了朴素组均值差估计量、精确匹配、回归调整以及处理逆概率加权，同时控制合理的混杂变量。在所有情形下，所有观察性估计都未能很好地还原来自对应随机实验的真实估计值。除一种情形外，观察性估计的符号均与随机估计相反。我们的结果表明，基于用户自我选择的观察性研究是在线平台上随机实验的糟糕替代方案。在讨论结果时，我们提出一个“第 22 条军规”，表明在这些场景下因果推断的成功可能与赋予用户更大能动性的初衷相冲突。