面向边缘设备的视觉语言模型二值化
计算机视觉与模式识别
2025-04-10 v1 机器学习
摘要
我们提出一种将预训练视觉语言模型压缩为其三值化版本的过程，而非从零训练三值化模型。基于k-means算法提出的一种新的初始化方案，以减少二值化时间。我们实现了用于在TensorFlow Lite引擎上执行三值化模型的各种自定义算子。我们将原始模型与其三值化和二进制版本进行比较，评估内存消耗、推理速度和perplexity。我们发现，使用我们自定义的三值矩阵乘法算子的三值模型在内存使用和perplexity之间提供了良好的折中，同时具有最快的token生成速度。
引用
@article{arxiv.2504.06298,
title = {Ternarization of Vision Language Models for use on edge devices},
author = {Ben Crulis and Cyril De Runz and Barthelemy Serres and Gilles Venturini},
journal= {arXiv preprint arXiv:2504.06298},
year = {2025}
}