数据流管理系统中的基于标点符号的算子间反馈

高容量、高速的数据流可能超出流处理系统的能力；可能需要采用数据优先级排序、避免不必要的处理以及按需生成结果等技术来降低处理需求。然而，数据流在速率和内容方面的动态特性使得这些技术的应用具有挑战性。这些技术已在静态和集中式查询优化的背景下得到解决；然而，它们尚未在数据流管理系统中得到充分解决。在这项工作中，我们提出了一个全面的框架，支持在分布式、不可靠、突发性、无序的数据源（这是许多数据流的典型特征）上进行优先级排序、避免不必要的工作以及按需生成结果。我们提出了一种算子间反馈形式，该反馈沿流的反方向流动，以传达执行这些技术所需的信息。这种反馈利用标点符号来描述感兴趣的子集。我们识别了反馈信息的潜在来源，描述了支持反馈的新型标点符号，并描述了查询算子可能实现的反馈生产者、利用者和中继者的角色。我们展示了使用NiagaraST数据流系统的初步实验观察结果。