通过逐片特征蒸馏实现神经网络的快速张量化
机器学习
2026-05-20 v1
摘要
我们提出了一种基于逐片特征蒸馏的可扩展张量化框架，用于神经网络压缩。与依赖昂贵的全局微调的传统张量分解方法不同，我们的方法将网络分解为若干片，这些片由单个层或块（例如，卷积层或 MLP），或连续层的小组构成，并独立地对每个片进行张量化，以重现原始预训练模型的中间表示。这种模块化策略提高了精度恢复，减少了数据需求，并实现了高效的并行优化。在 ResNet-34 上的实验表明，与传统的全局张量化相比，该方法在中等压缩率下实现了近乎无损的压缩，且优化速度更快。在 GPT-2 XL 上的结果进一步证明了该方法的可扩展性及其对大规模模型的适用性，特别是在分布式环境中。
引用
@article{arxiv.2605.19842,
title = {Fast Tensorization of Neural Networks via Slice-wise Feature Distillation},
author = {Safa Hamreras and Sukhbinder Singh and Román Orús},
journal= {arXiv preprint arXiv:2605.19842},
year = {2026}
}