SHAKTI：面向边缘 AI 与低资源环境的 25 亿参数小型语言模型
计算与语言
2025-06-23 v2 计算机视觉与模式识别
机器学习
摘要
我们介绍了 Shakti，这是一个专为资源受限环境（如边缘设备，包括智能手机、可穿戴设备和物联网系统）优化的 25 亿参数语言模型。Shakti 融合了高性能自然语言处理能力与优化后的效率和精度,使其适用于计算资源和内存受限的实时 AI 应用。支持方言语言和特定领域任务，Shakti 在医疗、金融和客户服务等行业中表现出色。基准评估显示，Shakti 在保持低延迟和设备端效率的同时，能够与更大规模的模型竞争， positioned 成为边缘 AI 的领先解决方案。
引用
@article{arxiv.2410.11331,
title = {SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments},
author = {Syed Abdul Gaffar Shakhadri and Kruthika KR and Rakshit Aralimatti},
journal= {arXiv preprint arXiv:2410.11331},
year = {2025}
}
备注
Paper in pdf format is 11 pages and contains 4 tables