VIDEX：面向云计算与 AI 时代的解耦可扩展虚拟索引
数据库
2025-05-29 v2
摘要
虚拟索引（也称为假设索引）在数据库查询优化中发挥着关键作用。然而，随着云计算和针对数据库优化的 AI 模型的快速发展，传统的虚拟索引方法面临着显著的挑战。云原生环境通常因稳定性要求和数据隐私 concerns，禁止在生产数据库上直接进行查询优化。此外，尽管 AI 模型在进步显著，但其与数据库系统的集成仍面临系统复杂性、推理加速和模型热更新等挑战。本文提出了 VIDEX，一个三层解耦架构，将数据库实例、虚拟索引优化器和算法服务解耦，提供标准化的接口以集成 AI 模型。用户可以通过收集生产统计信息或加载预准备好的文件来配置 VIDEX；这种设置允许基于虚拟索引进行高精度的 what-if 分析，实现与生产实例相同的查询计划。此外，用户可以自由将新的 AI 驱动算法集成到 VIDEX 中。VIDEX 已成功部署在字节跳动，日均服务数千个 MySQL 实例，处理数百万条 SQL 查询，用于索引优化任务。
引用
@article{arxiv.2503.23776,
title = {VIDEX: A Disaggregated and Extensible Virtual Index for the Cloud and AI Era},
author = {Rong Kang and Shuai Wang and Tieying Zhang and Xianghong Xu and Linhui Xu and Zhimin Liang and Lei Zhang and Rui Shi and Jianjun Chen},
journal= {arXiv preprint arXiv:2503.23776},
year = {2025}
}
备注
Accepted by the VLDB 2025 Demonstration Track