FeatInsight：第四范式Sage-Studio平台上的在线机器学习特征管理系统
数据库
2025-04-02 v1 机器学习
摘要
特征管理对于许多在线机器学习应用至关重要，并且常常成为性能瓶颈（例如，在销售预测服务中可占整体延迟的70%）。不恰当的特征配置（例如，引入过多不相关特征）会严重削弱模型的泛化能力。然而，管理在线机器学习特征具有挑战性，原因在于：（1）大规模、复杂的原始数据（例如，2018年PHM数据集包含17个表和数十至数百列）；（2）需要对具有复杂模式的相互依赖特征进行高性能、一致的计算；（3）需要快速更新和部署以适应实时数据变化。在本次演示中，我们介绍FeatInsight，一个支持整个特征生命周期的系统，包括特征设计、存储、可视化、计算、验证和血缘管理。FeatInsight（以OpenMLDB作为执行引擎）已在第四范式Sage Studio平台上的100多个真实场景中部署，处理高达万亿维的特征空间，并实现毫秒级的特征更新。我们演示了FeatInsight如何提高特征设计效率（例如，用于在线产品推荐）和提升特征计算性能（例如，用于在线欺诈检测）。代码可在 https://github.com/4paradigm/FeatInsight 获取。
引用
@article{arxiv.2504.00786,
title = {FeatInsight: An Online ML Feature Management System on 4Paradigm Sage-Studio Platform},
author = {Xin Tong and Xuanhe Zhou and Bingsheng He and Guoliang Li and Zirui Tang and Wei Zhou and Fan Wu and Mian Lu and Yuqiang Chen},
journal= {arXiv preprint arXiv:2504.00786},
year = {2025}
}