PyOD 2：具备 LLM 驱动模型选择的 Python 离群点检测库
机器学习
2024-12-18 v1 人工智能
计算与语言
摘要
离群点检测 (OD)，又称异常检测，是一项关键的机器学习 (ML) 任务，广泛应用于欺诈检测、网络入侵检测、点击流分析、推荐系统以及社交网络审核。在用于离群点检测的开源库中，Python 离群点检测 库被最广泛采用，拥有超过 8,500 个 GitHub 星标、2500 万次下载以及多样化的行业应用。然而，PyOD 目前面临三个局限性：(1) 对现代深度学习算法的覆盖不足；(2) PyTorch 和 TensorFlow 之间的实现碎片化；(3) 缺乏自动化模型选择，使得非专家难以使用。为了解决这些问题，我们提出了 PyOD 版本 2 (PyOD 2)，它将 12 个 SOTA 深度学习模型集成到统一的 PyTorch 框架中，并引入了基于大型语言模型 (LLM) 的流水线用于自动化 OD 模型选择。这些改进简化了 OD 工作流，提供了 45 种可用算法，并在各种数据集上实现了稳健的性能。在本文中，我们展示了 PyOD 2 如何简化 OD 模型的部署和自动化，并在研究和工业界树立了新标准。PyOD 2 可在 [https://github.com/yzhao062/pyod](https://github.com/yzhao062/pyod) 获取。本研究符合 Web 挖掘与内容分析轨道，涉及 Web 挖掘方法的鲁棒性和算法生成的 Web 数据质量等主题。
引用
@article{arxiv.2412.12154,
title = {PyOD 2: A Python Library for Outlier Detection with LLM-powered Model Selection},
author = {Sihan Chen and Zhuangzhuang Qian and Wingchun Siu and Xingcan Hu and Jiaqi Li and Shawn Li and Yuehan Qin and Tiankai Yang and Zhuo Xiao and Wanghao Ye and Yichi Zhang and Yushun Dong and Yue Zhao},
journal= {arXiv preprint arXiv:2412.12154},
year = {2024}
}