从数据受限到数据赋能的研究：大规模电子商务数据收集、验证与分析的经验与挑战

互联网上广泛的电子商务活动带来了收集大量微观层面市场与非市场数据的新机遇。在本文中，我们分享了在在线拍卖、音乐文件共享和在线零售商定价领域收集、验证、存储和分析大型基于互联网的数据集的经验。我们展示了此类数据如何通过促进对现有理论更精确、更广泛的检验，以及为新理论的发展提供观测基础，从而推进知识。正如实验经济学通过在受控实验室环境中检验众多经济行为理论而推动了经济思想的前沿，我们相信，观测（常常是长时间的）参与互联网上市场与非市场活动的真实主体，能够引导我们发展并检验各种新理论。互联网数据收集并非受控实验。我们无法将参与者随机分配到处理组或确定事件顺序。互联网数据收集确实提供了潜在的大型数据集，其中包含对个体选择与行动的重复观测。此外，自动化数据收集有望大幅降低每次观测的成本。我们的方法依赖于自动化数据收集代理的技术进步。在开发适当的抽样技术、整合来自异构来源多种格式的数据、构建可推广的流程以及理解法律约束方面，仍存在重大挑战。尽管存在这些挑战，那些已采集并分析大量电子商务数据者的早期证据表明，我们理解电子商务运作的能力实现了显著飞跃。