LibAUC：面向 X-风险优化的深度学习库
机器学习
2023-06-06 v1 人工智能
最优化与控制
机器学习
摘要
本文介绍了一款获奖的深度学习（DL）库 LibAUC，用于实现优化一类称为 X-风险（X-risk）的风险函数的最先进算法。X-风险指的是一类组合函数，其中每个数据点的损失函数以将该数据点与其他大量数据点进行对比的方式定义。它们在人工智能中具有广泛应用，可用于解决经典及新兴问题，包括但不限于不平衡数据分类（CID）、排序学习（LTR）和表征对比学习（CLR）。开发 LibAUC 的动机在于解决现有库在求解这些问题时的收敛问题。具体而言，由于经验风险最小化（ERM）框架中使用了标准小批量技术，现有库可能无法收敛，或需要非常大的小批量大小才能获得良好性能。我们的库面向深度 X-风险优化（DXO），已在 CID、LTR 和 CLR 的多种任务中取得巨大成功。本文的贡献包括：（1）提出了一种基于小批量的新流水线用于实现 DXO 算法，其在受控数据采样器和动态小批量损失的设计上不同于现有 DL 流水线；（2）提供了大量基准实验用于消融研究并与现有库比较。LibAUC 库具有可扩展至数百万对比项的性能，在优化 X-风险时比现有库收敛更快更好，支持无缝 PyTorch 部署并提供用于各种损失优化的通用 API。我们的库已在 https://github.com/Optimization-AI/LibAUC 向开源社区开放，以促进进一步的学术研究与工业应用。
引用
@article{arxiv.2306.03065,
title = {LibAUC: A Deep Learning Library for X-Risk Optimization},
author = {Zhuoning Yuan and Dixian Zhu and Zi-Hao Qiu and Gang Li and Xuanhui Wang and Tianbao Yang},
journal= {arXiv preprint arXiv:2306.03065},
year = {2023}
}
备注
Accepted by KDD2023