多太字节天文档案的设计与挖掘：斯隆数字巡天

下一代天文数字档案将以许多波长（从 X 射线到紫外、光学和红外）高分辨率覆盖大部分宇宙。这些档案将存储在不同的地理位置。这些项目中最早的一个，斯隆数字巡天（SDSS）将在天空中 10,000 平方度的范围内创建一个 5 波长目录（见 http://www.sdss.org/）。这个多太字节数据库中的 2 亿个天体大多具有数值属性，定义了一个 100 多维的空间。该空间中的点具有高度相关的分布。该档案将使天文学家能够交互式地探索数据。数据访问将由多维空间索引和其他索引辅助。数据将以多种方式分区。由最常用属性组成的小型标签对象可加速频繁搜索。在多个服务器之间拆分数据可实现并行、可扩展的 I/O，并将并行处理应用于数据。哈希技术允许高效的聚类和成对比较算法，这些算法能很好地并行化。随机采样子集允许在桌面调试原本很大的查询。中央服务器将运行一个数据泵，支持触及大部分数据的扫描搜索。预期的查询需要与点角距离以及对象属性（如形状、颜色、速度向量或时间行为）的复杂相似性测试相关的特殊算子。这些问题带来了有趣的数据管理挑战。