面向车载函数调用的小语言模型优化
机器学习
2025-01-07 v1 人工智能
计算与语言
计算机视觉与模式识别
人机交互
摘要
我们提出了一种整体性方案,将小语言模型(SLMs)作为函数调用智能体部署于车载边缘设备中,以此作为传统基于规则系统的更灵活、更稳健的替代方案。通过利用小语言模型,我们简化了车辆控制机制并提升了用户体验。鉴于车载硬件的约束,我们采用了当前最先进的模型压缩技术,包括结构化剪枝、修复(healing)与量化,以确保模型在资源受限条件下仍能保持可接受的性能。我们的工作聚焦于优化一款具有代表性的小语言模型——微软的 Phi-3 mini,并概述了使能嵌入式模型的最佳实践,涵盖压缩、任务特定微调与车辆集成。我们证明,即便模型规模显著缩减(从原模型中削减多达 20 亿参数),我们的方法仍能保持模型准确、高效处理复杂车载任务的能力。此外,通过在轻量级运行时环境中执行模型,我们实现了每秒 11 个 token 的生成速度,使得无需硬件加速的实时端侧推理成为可能。我们的结果展示了小语言模型变革车辆控制系统的潜力,使用户与车辆之间的交互更加直观,从而提升驾驶体验。
引用
@article{arxiv.2501.02342,
title = {Optimizing Small Language Models for In-Vehicle Function-Calling},
author = {Yahya Sowti Khiabani and Farris Atif and Chieh Hsu and Sven Stahlmann and Tobias Michels and Sebastian Kramer and Benedikt Heidrich and M. Saquib Sarfraz and Julian Merten and Faezeh Tafazzoli},
journal= {arXiv preprint arXiv:2501.02342},
year = {2025}
}