通过分布对齐实现跨架构通用特征编码
计算机视觉与模式识别
2025-06-17 v1 分布式、并行与集群计算
摘要
在语义表示而非原始像素被传输和存储的场景中，特征编码变得越来越重要。然而，大多数现有方法都是架构特定的，针对CNN或Transformer。这种设计限制了它们在CNN和Transformer特征共存的真实场景中的适用性。为了填补这一空白，我们引入了一个新的研究问题：跨架构通用特征编码（CAUFC），旨在构建一个能够有效压缩异构架构特征的统一编解码器。为应对这一挑战，我们提出了一种两步分布对齐方法。首先，我们设计格式对齐方法，将CNN和Transformer特征统一为一致的2D token格式。其次，我们提出特征值对齐方法，通过截断和归一化来协调统计分布。作为研究CAUFC的首次尝试，我们在图像分类任务上评估了我们的方法。实验结果表明，我们的方法相比架构特定基线实现了更优的率-精度权衡。这项工作标志着跨异构模型架构通用特征压缩的初步探索。
引用
@article{arxiv.2506.12737,
title = {Cross-architecture universal feature coding via distribution alignment},
author = {Changsheng Gao and Shan Liu and Feng Wu and Weisi Lin},
journal= {arXiv preprint arXiv:2506.12737},
year = {2025}
}