领域特定基础模型概览：关键技术、应用与挑战
人工智能
2025-09-22 v3 计算与语言
摘要
ChatGPT等基础模型在人类语言理解方面的卓越性能，促使学界和产业界探索如何将这些模型针对特定行业和应用场景进行定制。这种过程被称为领域特定基础模型(FM)的定制，旨在弥补通用模型可能无法完全捕捉领域特定数据独特模式和要求的不足。尽管其重要性不言而喻，但目前缺乏关于构建领域特定FM的综合性综述论文，而通用模型却有大量资源。为填补这一空白，本文提供了关于定制领域特定FM方法的及时且详尽的概览。我们介绍了基本概念，概述了通用架构，并调查了构建领域特定模型的关键方法。此外，本文讨论了各种可以从这些专业模型中受益的领域，并突出了面临的挑战。通过这一概览，我们旨在为来自不同领域的研究人员和实践者提供有价值的指导和参考，以开发自己的定制FM。
引用
@article{arxiv.2409.04267,
title = {An overview of domain-specific foundation model: key technologies, applications and challenges},
author = {Haolong Chen and Hanzhi Chen and Zijian Zhao and Kaifeng Han and Guangxu Zhu and Yichen Zhao and Ying Du and Wei Xu and Qingjiang Shi},
journal= {arXiv preprint arXiv:2409.04267},
year = {2025}
}