RFX：基于 GPU 加速与 QLORA 压缩的高性能随机森林

RFX（Random Forests X），其中 X 代表压缩或量化（compression or quantization），提供了 Breiman 和 Cutler 随机森林分类方法在 Python 中的生产级实现。RFX v1.0 提供完整的分类功能：袋外误差估计、整体与局部重要性度量、带 QLORA 压缩的邻近矩阵、逐样本分析以及交互式可视化（rfviz）——全部支持 CPU 和 GPU 加速。回归、无监督学习、CLIQUE 重要性以及 RF-GAP 邻近性功能计划在 v2.0 中实现。本工作提出了四种解决方案以应对邻近矩阵内存瓶颈，该瓶颈将随机森林分析限制在约 60,000 个样本：（1）QLORA（量化低秩自适应）压缩用于 GPU 邻近矩阵，将 10 万个样本的内存从 80GB 降至 6.4MB（INT8 量化下 12,500 倍压缩），同时保持 99% 的几何结构保持性；（2）CPU TriBlock 邻近性——结合上三角存储与块稀疏阈值——实现 2.7 倍内存缩减且无损质量；（3）面向 SM 的 GPU 批量大小设定，实现 95% 的 GPU 利用率；（4）GPU 加速的 3D MDS 可视化，直接从低秩因子使用幂迭代计算嵌入。在四种实现模式（GPU/CPU × 逐样本/非逐样本）上的验证表明实现正确。GPU 在整体重要性上相比 CPU 实现 1.4 倍加速（需 500 棵以上树）。邻近性计算从 1,000 扩展至 200,000+ 样本（需要 GPU QLORA），CPU TriBlock 填补中等规模数据集（10K–50K 样本）的空白。RFX v1.0 消除了邻近性内存瓶颈，使基于邻近性的随机森林分析能够在比此前可行规模大数个数量级的数据集上进行。遵循 Breiman 和 Cutler 原始方法的开源生产级分类实现。