面向大模型特征编码的探索
计算机视觉与模式识别
2026-05-26 v1 机器学习
摘要
大模型在广泛的感知与生成任务中取得了显著的性能，但实际部署受到计算和内存预算的限制，以及隐私要求的制约。分层执行通过在不同设备上划分计算来缓解这些限制，但不可避免地引入了中间特征的大量传输和存储。与针对 CNN 通常针对均匀空间激活图进行特征编码的常规方法不同，现代大模型生成的特征具有异构特性，包括多层次/多模态表征和自回归上下文缓存等，这些特性具有不同的统计分布和压缩容忍度。这一特征要求将大模型特征编码 (LaMoFC) 视为基本系统组件，并呼 necessitate 建立系统化的评估框架。本文提出了针对 LaMoFC 的全面基准和评估框架。我们首先构建了覆盖 4 类 16 种情景的特征数据集 LaMoFCBench，集成广泛采用的架构和各种分层计算设置。随后根据实际应用场景指定代表性分层点，以提取中间特征，建立统一的管道以进行公平且可重复的比较。最后我们对主流通用特征编解码器进行基准测试，揭示了现有编码范例与大模型特征异构性之间存在显著的误差。这一发现表明，LaMoFC 需要从现有范例中进行根本性的转变，而 LaMoFCBench 提供了推动这一转变的共享实证基础。该数据和代码将在 https://github.com/lartpang/LaMoFCBench 上提供。
引用
@article{arxiv.2605.24025,
title = {Towards Large Model Feature Coding},
author = {Youwei Pang and Changsheng Gao and Dong Liu and Huchuan Lu and Weisi Lin},
journal= {arXiv preprint arXiv:2605.24025},
year = {2026}
}