Beta 测试人员与标准用户的大规模比较研究

Beta 测试人员是软件公司之外首批使用其产品的终端用户。他们已被使用数十年，并且被正确地认为不仅发现和报告了缺陷，还通过其反馈和/或使用产品的方式改进了总体产品可用性。在本文中，我们调查 Beta 测试人员是否足够代表标准用户，以允许将测试数据外推至标准用户。我们调查了由 IT 安全软件提供商 ESET 开发的家用安全解决方案的 Beta 测试人员和标准用户的记录。凭借来自超过 180 个国家的 600000 多名参与者，我们提出了据我们所知首个标准用户与 Beta 测试人员之间的大规模比较。我们比较了两类人群的若干方面，例如硬件、操作系统、原产国和 EULA 阅读时间，均取自系统数据。其他属性，如年龄、性别、隐私感知和计算机熟练度自我评估，通过用户问卷获得。我们得出结论：至少在我们的研究中，Beta 用户在大规模 Beta 测试中在硬件和操作系统方面很好地代表了标准用户。然而，各国之间用户和测试人员的分布存在显著差异。当测试包含可能受地区差异影响的本地化和可用性问题时会引发问题。