生成式预训练 Transformer：赋能技术、潜在应用、新兴挑战与未来方向的全面综述
计算与语言
2023-05-23 v2 人工智能
摘要
生成式预训练 Transformer（GPT）是自然语言处理领域的显著突破，正推动我们迈向能够以致类似于人类的方式理解并使用语言进行交流的机器发展。GPT 基于 transformer 架构，一种为自然语言处理任务设计的深度神经网络。因其在自然语言处理任务上的出色表现及有效对话能力，GPT 在研究与工业界获得显著关注，成为自然语言处理及相关领域最广泛使用且最有效的模型之一，这也促使本综述的开展。本综述提供 GPT 的详细概览，包括其架构、工作过程、训练流程、赋能技术及其对各应用的影响。本综述中，我们也探讨了 GPT 的潜在挑战与局限。此外，我们讨论潜在解决方案与未来方向。总体而言，本文旨在提供对 GPT、赋能技术、其对各应用的影响、新兴挑战及潜在解决方案的全面理解。
引用
@article{arxiv.2305.10435,
title = {Generative Pre-trained Transformer: A Comprehensive Review on Enabling Technologies, Potential Applications, Emerging Challenges, and Future Directions},
author = {Gokul Yenduri and Ramalingam M and Chemmalar Selvi G and Supriya Y and Gautam Srivastava and Praveen Kumar Reddy Maddikunta and Deepti Raj G and Rutvij H Jhaveri and Prabadevi B and Weizheng Wang and Athanasios V. Vasilakos and Thippa Reddy Gadekallu},
journal= {arXiv preprint arXiv:2305.10435},
year = {2023}
}
备注
Submitted to peer review