KLAS：利用相似性拼接神经网络以实现更佳的准确率-效率权衡
机器学习
2026-05-29 v1 人工智能
摘要
在广泛的部署目标范围内,灵活的模型选择对于优化给定计算预算内的性能至关重要。最近的工作表明,在模型家族内部拼接预训练模型可实现成本效益的准确率-效率权衡空间的插值。拼接将一种预训练模型的中间激活转换为另一种预训练模型,从而产生新的插值拼接网络。这些网络在准确率-效率范围内提供了一组部署选项。然而,现有的拼接方法往往导致次优的权衡,且缺乏通用性,因为它们主要依赖于启发式方法来选择拼接配置。我们认为,构建改进的准确率-效率权衡需要显式地捕捉并利用被拼接的预训练模型之间的相似性。为此,我们引入KLAS,一种新型的拼接选择框架,通过利用中间表示之间的 KL 发散来实现自动化和通用的拼接选择。KLAS 从 种可能的二进制拼接配置中,为 个深度为 的预训练模型识别最有前景的选项。通过全面实验,我们展示了KLAS 在相同微调成本下,相较于基线方法改进了拼接模型的准确率-效率曲线。KLAS 在相同的计算成本下实现了最高1.21%的 ImageNet-1K top-1 准确率提升,或在保持准确率的同时减少 的 FLOPs。
引用
@article{arxiv.2605.29259,
title = {KLAS: Using Similarity to Stitch Neural Networks for Improved Accuracy-Efficiency Tradeoffs},
author = {Debopam Sanyal and Anantharaman Iyer and Alind Khare and Trisha Jain and Akshay Jajoo and Myungjin Lee and Clayton Kerce and Alexey Tumanov},
journal= {arXiv preprint arXiv:2605.29259},
year = {2026}
}