面向边缘 AI 的小型语言模型领域特定精调
机器学习
2025-10-20 v1 硬件体系结构
计算与语言
计算机视觉与模式识别
摘要
将大规模语言模型部署在边缘设备面临计算需求高、能源消耗大以及潜在数据隐私风险等内在挑战。本文引入了 Shakti 小型语言模型（SLM）系列，包括 Shakti-100M、Shakti-250M 和 Shakti-500M，直接面对这些限制。通过结合高效架构、量化技术和负责任 AI 原则，Shakti 系列实现了针对智能手机、智能家居、物联网系统等的设备端智能。我们提供了关于其设计理念、训练管道以及在通用任务（如 MMLU、Hellaswag）和特定领域（医疗保健、金融、法律）上的基准性能的全面见解。我们的发现表明，经过精心设计和微调的紧凑型模型可以在实际边缘 AI 场景中满足甚至超越预期。
引用
@article{arxiv.2503.01933,
title = {Fine-Tuning Small Language Models for Domain-Specific AI: An Edge AI Perspective},
author = {Rakshit Aralimatti and Syed Abdul Gaffar Shakhadri and Kruthika KR and Kartik Basavaraj Angadi},
journal= {arXiv preprint arXiv:2503.01933},
year = {2025}
}