基于 Sketch 的相关性异常值快速恢复

许多数据源可以被解释为时间序列，而一个关键问题是识别来自大量信号集合中哪些信号对高度相关。我们预期存在少量且显著的有意义相关性，而大多数信号对没有任何强相关性。我们将此抽象为在 $n$ 个主要互不相关的随机变量集合中识别高度相关对的问题，其中对变量的观测以流的形式到达。降维可以消除对观测数量的依赖，但需要进一步的技术来控制搜索所有可能对时 $n$ 的二次开销。我们开发了一种基于 sketch 技术快速寻找大相关性的新算法，并增加了一个关键技巧：我们快速生成信号随机组合的 sketch，并将其与编码理论的思想结合使用，以解码相关对的标识。我们证明了正确性，并将性能和有效性与基于 LSH (locality sensitive hashing) 的最佳方法进行了比较。