领域专业化是大型语言模型产生颠覆性的关键：一项综合综述
计算与语言
2024-04-01 v7 人工智能
摘要
大型语言模型（LLMs）已显著推进自然语言处理（NLP）领域，为广泛应用提供了高度有用、任务无关的基础。然而，直接将 LLMs 应用于解决特定领域中的复杂问题会遇到诸多障碍，这些障碍源于领域数据的异质性、领域知识的复杂性、领域目标的独特性以及约束的多样性（例如领域应用中的各种社会规范、文化遵从、宗教信仰和伦理标准）。领域专门化技术是推动大型语言模型在许多应用中产生颠覆性的关键。具体而言，为克服这些障碍，近年来关于 LLM 领域专门化的研究和实践显著增多。这一新兴研究领域具有巨大的潜在影响，亟需一份全面而系统的综述以更好地总结并指导该领域的正在进行的工作。在本文中，我们呈现了一份关于大型语言模型领域专门化技术的综合综述，这是一个对 LLM 应用至关重要的新兴方向。首先，我们提出一个系统性的分类法，基于 LLM 的可及性对 LLM 领域专门化技术进行分类，并总结所有子类的框架及其相互关联与差异。其次，我们给出了可从专门化 LLM 中显著受益的关键应用领域的广泛分类，讨论了它们的实际意义与开放挑战。最后，我们对该领域的研究现状与未来趋势提供了见解。
引用
@article{arxiv.2305.18703,
title = {Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey},
author = {Chen Ling and Xujiang Zhao and Jiaying Lu and Chengyuan Deng and Can Zheng and Junxiang Wang and Tanmoy Chowdhury and Yun Li and Hejie Cui and Xuchao Zhang and Tianjiao Zhao and Amit Panalkar and Dhagash Mehta and Stefano Pasquali and Wei Cheng and Haoyu Wang and Yanchi Liu and Zhengzhang Chen and Haifeng Chen and Chris White and Quanquan Gu and Jian Pei and Carl Yang and Liang Zhao},
journal= {arXiv preprint arXiv:2305.18703},
year = {2024}
}