Quantized-Tinyllava：一种高效分解学习的多模态基础模型
机器学习
2026-02-03 v2 机器学习
摘要
多模态基础模型越来越多地在金融、生物医学和个人标识等领域用于敏感数据上进行训练。然而，这种分布式设置因需要在分区之间共享原始数据而引发严重的隐私问题。分解学习通过在分区之间不进行原始数据交换来实现协作模型训练，却带来了一个重大挑战：在分区之间传输高维中间特征表示会导致显著的通信成本。为解决这一挑战，我们提出了 Quantized-TinyLLaVA，一种集成通信高效分解学习框架的多模态基础模型。我们的方案采用压缩模块将中间特征量化为离散表示后再传输，显著降低了通信开销。此外，我们基于熵编码理论推导了原则化的量化策略，以确定最佳离散表示水平数。我们在两个分区设置下部署了该框架，其中一个分区作为客户端，另一个作为服务器，以真实场景模拟分布式训练。在此设置下，Quantized-TinyLLaVA 在 2 位量化下实现了约 87.5% 的通信开销降低，同时在五个基准数据集上保持原始 16 位模型的性能。此外，我们的压缩表示对特征反向攻击具有增强的抗性，验证了传输过程的隐私性。代码可在 https://github.com/anonymous-1742/Quantized-TinyLLaVA 获取。
引用
@article{arxiv.2511.23402,
title = {Quantized-Tinyllava: a new multimodal foundation model enables efficient split learning},
author = {Jiajun Guo and Xin Luo and Jiayin Zheng and Yiqun Wang and Kai-Wei Chang and Wei Wang and Jie Liu},
journal= {arXiv preprint arXiv:2511.23402},
year = {2026}
}