“云中的鸟”：数据工程历险记
计算机与社会
2017-10-25 v1
摘要
康奈尔鸟类学实验室利用其eBird众包项目，生成了复杂的鸟类迁徙时空探索模型（STEM）地图。此类地图对科学和教育目的都高度相关，但创建它们需要依赖耗时且可能昂贵的先进建模技术。在本文中，我们分享了将eBird STEM数据管道从物理集群迁移到云的经验，以更低成本实现了无缝部署。利用开源工具和云“市场”，我们成功将运营成本降低了6倍，使得在我们的研究预算下扩展管道成为可能。
引用
@article{arxiv.1710.08521,
title = {"Birds in the Clouds": Adventures in Data Engineering},
author = {N. Cherel and J. Reesman and A. Sahuguet and T. Auer and D. Fink},
journal= {arXiv preprint arXiv:1710.08521},
year = {2017}
}
备注
Presented at the Data For Good Exchange 2017