OmniPred：作为通用回归器的语言模型
机器学习
2025-02-03 v6 人工智能
计算与语言
数据库
摘要
回归是一种强大的工具，能够根据一组参数准确预测系统的输出指标，但传统上局限于仅适用于特定任务的方法。在本文中，我们提出了 OmniPred，一个将语言模型训练为在任意格式 数据上进行通用端到端回归器的框架。使用来自 Google Vizier（世界上最大的专有黑盒优化数据库之一）的数据，我们广泛的实验表明，语言模型仅使用数学参数和值的文本表示即可进行非常精确的数值回归，并且如果有机会在多个任务上进行大规模训练，可以显著优于传统的回归模型。
引用
@article{arxiv.2402.14547,
title = {OmniPred: Language Models as Universal Regressors},
author = {Xingyou Song and Oscar Li and Chansoo Lee and Bangding Yang and Daiyi Peng and Sagi Perel and Yutian Chen},
journal= {arXiv preprint arXiv:2402.14547},
year = {2025}
}
备注
Published in Transactions on Machine Learning Research (TMLR) 2024. Code can be found in https://github.com/google-research/optformer/tree/main/optformer/omnipred