TerraByte 客户端:提供对太字节级植物数据的访问
计算机视觉与模式识别
2022-03-28 v1 人工智能
数据库
机器人学
摘要
在本文中,我们展示了 TerraByte 客户端,一款用于从 Compute Canada 托管的数据门户下载用户自定义植物数据集的软件。为此,该客户端提供两项关键功能:(1)它使用户能够概览可用数据,并快速直观地查看这些数据样本。为此,客户端接收对数据库查询的结果,并显示满足搜索条件的图像数量。此外,可在数秒内下载一个样本以确认数据符合用户需求。(2)用户随后可将指定数据下载至其自有驱动器。该数据在服务器端被分块准备并发送至用户端系统,在那里被自动解压为独立文件。根据可用带宽和数据类型,首批数据在不超过一分钟的短暂等待后即可供查看。TerraByte 客户端具有完整的图形用户界面以便于使用,并采用端到端加密。该用户界面构建于底层客户端之上。这种架构结合以开源方式提供客户端程序,使用户能够开发自己的用户界面或直接使用该客户端功能。直接使用的示例可以是在更大规模应用中按需下载特定数据,例如训练机器学习模型。
引用
@article{arxiv.2203.13691,
title = {The TerraByte Client: providing access to terabytes of plant data},
author = {Michael A. Beck and Christopher P. Bidinosti and Christopher J. Henry and Manisha Ajmani},
journal= {arXiv preprint arXiv:2203.13691},
year = {2022}
}