新颖性与首因效应:一种面向在线实验的长期估计器
人机交互
2021-02-26 v1 统计方法学
摘要
在线实验是评估用户体验影响并加速软件创新的黄金标准。然而,由于实验通常时长有限,所观测到的处理效应并非总是永久稳定,有时会随时间呈现出上升或下降的模式。处理效应随时间变化的原因有多种。本文关注一个特定原因——用户学习,其主要与新颖性(novelty)或首因效应(primacy)相关。新颖性描述了使用新技术的意愿随时间推移而减弱的倾向。首因效应描述了因采纳创新而导致与技术互动逐渐增长的现象。用户学习估计至关重要,因为它使实验对可信度负责,通过提供预期影响的长期视角赋能组织做出更好的决策,并防止用户不满。本文提出一种基于双重差分(difference-in-differences)技术的观测方法,以大规模估计用户学习。我们运用该方法在微软的多个实验中检验并估计用户学习。我们将该方法与现有实验方法进行比较,以展示其在易用性和更高统计功效方面的优势,并讨论其在存在其他形式的处理与时间交互作用时的局限性。
引用
@article{arxiv.2102.12893,
title = {Novelty and Primacy: A Long-Term Estimator for Online Experiments},
author = {Soheil Sadeghi and Somit Gupta and Stefan Gramatovici and Jiannan Lu and Hao Ai and Ruhan Zhang},
journal= {arXiv preprint arXiv:2102.12893},
year = {2021}
}
备注
Submitted to the Technometrics Journal