以用户情绪作为成功指标：完全随机化下的持续偏差
统计方法学
2019-06-27 v1 应用统计
摘要
我们研究将用户情绪（通过可选调查上报）作为完全随机化A/B测试的指标。用户级协变量和处理分配均会影响响应倾向。我们提出一组用于受试及应答用户上平均和局部处理效应的一致估计量。我们表明该问题可映射为缺失数据问题与观测因果推断的交叉，并识别出一致估计量存在的条件。我们通过模拟研究评估估计量性能，发现更复杂的模型未必提供更优性能。
引用
@article{arxiv.1906.10843,
title = {User Sentiment as a Success Metric: Persistent Biases Under Full Randomization},
author = {Ercan Yildiz and Joshua Safyan and Marc Harper},
journal= {arXiv preprint arXiv:1906.10843},
year = {2019}
}