低误差频率矩估计的紧界与多遍扫描的威力

在$(1\pm\varepsilon)$因子内估计数据流的二阶频率矩$F_2$是流文献中的核心问题。对于误差$\varepsilon>\Omega(1/\sqrt{n})$，Braverman和Zamir最近建立了紧界$\Theta(\log(\varepsilon^2 n)/\varepsilon^2)$。在本工作中，我们通过解决剩余的小误差区域$\varepsilon<1/\sqrt{n}$来完成整体图景，证明最优空间复杂度为$\Theta(\min(n,1/\varepsilon^2)\cdot(1+|\log(\varepsilon^2 n)|))$位（对所有$\varepsilon\geq 1/n^2$，假设宇宙足够大）。这填补了已知$\Omega(n)$下界与该范围内直接$O(n\log n)$上界之间的差距，并表明高精度估计本质上需要存储整个流。为推导该界，我们完全刻画了估计集合交集大小至任意加性误差$\varepsilon n$的两方通信复杂度。特别地，当$\varepsilon<n^{-1/2-\Omega(1)}$时，我们证明了一向通信协议的一个紧$\Omega(n\log n)$下界，这与使用双向通信的经典$O(n)$位协议形成对比。受此分离的启发，我们提出一个两遍流算法，以仅$O(n\log\log n)$位的空间高概率计算流的精确直方图，而一遍扫描即使近似$F_2$并产生小误差也需要$\Theta(n\log n)$位。这给出了小频率矩估计中一遍扫描与$O(1)$遍扫描空间复杂度的首个渐近分离。