大语言模型时代的自动机器学习：当前挑战、未来机遇与风险
机器学习
2024-02-22 v3 计算与语言
摘要
近年来，自然语言处理（NLP）与自动机器学习（AutoML）两个领域均取得了显著成果。在NLP中，尤其是大语言模型（LLMs）在最近经历了一系列快速突破。我们设想这两个领域可通过紧密融合从根本上拓展彼此的边界。为展示这一愿景，我们探索了AutoML与LLMs之间共生关系的潜力，阐明二者如何相互裨益。具体而言，我们从不同视角考察了以LLMs增强AutoML方法的机遇，以及利用AutoML进一步提升LLMs所面临的挑战。为此，我们调研了现有工作，并批判性评估了相关风险。我们坚信两领域的融合有颠覆NLP与AutoML的潜力。通过凸显可设想的协同效应及风险，我们旨在推动AutoML与LLMs交叉领域的进一步探索。
引用
@article{arxiv.2306.08107,
title = {AutoML in the Age of Large Language Models: Current Challenges, Future Opportunities and Risks},
author = {Alexander Tornede and Difan Deng and Theresa Eimer and Joseph Giovanelli and Aditya Mohan and Tim Ruhkopf and Sarah Segel and Daphne Theodorakopoulos and Tanja Tornede and Henning Wachsmuth and Marius Lindauer},
journal= {arXiv preprint arXiv:2306.08107},
year = {2024}
}
备注
Submitted and accepted at TMLR: https://openreview.net/forum?id=cAthubStyG