评估在线语言产生研究中的效应量、变异性和统计功效
计算与语言
2024-03-26 v1
摘要
疫情期间，许多实验心理学家和语言学家开始通过互联网收集数据（以下简称在线数据）。需要评估此类实验的可行性以及未来实验达到足够统计功效所需的样本量。这反过来需要效应量和变异性的信息。在一系列分析中，我们比较了在实验室和在线进行的相同词汇产生实验中获得的反应时数据。这些分析使我们能够确定两种设置在效应量、实验过程中反应的一致性、参与者平均反应时的变异性、参与者间效应量的大小以及未解释变异量方面是否存在差异。我们通过一系列模拟评估了这些差异对设计功效的影响。我们的发现缓和了先前研究带来的热情，并表明在线产生研究可能是可行的，但代价不可忽视。在在线语言产生研究中达到足够功效所需的样本量伴随着手工劳动量的显著增加。
引用
@article{arxiv.2403.15459,
title = {Assessing effect sizes, variability, and power in the on-line study of language production},
author = {Bürki Audrey and Vasishth Shravan},
journal= {arXiv preprint arXiv:2403.15459},
year = {2024}
}