从 BERT 到 GPT-3 Codex：挖掘超大规模语言模型在数据管理中的潜力
数据库
2023-06-16 v1
摘要
大语言模型近期在许多自然语言处理基准上推进了最先进水平。最新一代模型可应用于多种任务，几乎无需专门训练。该技术在数据管理情境下创造了各类应用机会。本教程将向参与者介绍语言模型的基础背景，讨论使用语言模型的不同方法，并概述及简要演示可用的库与 API。将考量生成自然语言的模型，以及诸如 GPT-3 Codex 这类补全程序代码或依据自然语言指令生成代码的模型。最后，教程将讨论数据库领域近期利用语言模型的传统数据库系统相关研究，或提出基于它们的新型系统架构。本教程面向数据库研究者。无需语言模型先验背景。教程目标是向数据库研究者介绍最新一代语言模型及其在数据管理领域的用例。
引用
@article{arxiv.2306.09339,
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
author = {Immanuel Trummer},
journal= {arXiv preprint arXiv:2306.09339},
year = {2023}
}