提示的简史：利用语言模型（通过先进提示技术）
计算与语言
2023-11-29 v2 人工智能
摘要
本文全面探讨了自然语言处理（NLP）领域中提示工程与生成的演变。从早期语言模型与信息检索系统出发，我们追溯了多年来塑造提示工程的关键发展。2015 年注意力机制的引入革新了语言理解，带来了可控性与上下文感知方面的进展。随后强化学习技术的突破进一步增强了提示工程，解决了暴露偏差与生成文本中的偏差等问题。我们考察了 2018 与 2019 年的重大贡献，聚焦于微调策略、控制码与基于模板的生成。本文还讨论了公平性、人机协作与低资源适配日益增长的重要性。2020 与 2021 年，上下文提示与迁移学习获得突出地位，而 2022 与 2023 年见证了无监督预训练与新奖励塑造等先进技术的涌现。全文我们引用了具体研究，例证各类发展对提示工程的影响。提示工程的历程仍在继续，伦理考量对于 AI 系统负责任且包容的未来至关重要。
引用
@article{arxiv.2310.04438,
title = {A Brief History of Prompt: Leveraging Language Models. (Through Advanced Prompting)},
author = {Golam Md Muktadir},
journal= {arXiv preprint arXiv:2310.04438},
year = {2023}
}