面向多目标域适应的合并友好型后训练量化

模型合并已成为一种结合任务特定权重的强大技术，在多目标域适应中实现了卓越性能。然而，当应用于实际场景（如量化模型）时，出现了新的挑战。在实际场景中，量化通常应用于目标特定数据，但这一过程限制了感兴趣域并引入了离散化效应，使得模型合并变得高度非平凡。在本研究中，我们通过误差屏障的视角分析了量化对模型合并的影响。基于这些见解，我们提出了一种新颖的后训练量化方法——HDRQ（Hessian和远端正则化量化，Hessian and distant regularizing quantization），专为多目标域适应的模型合并而设计。我们的方法确保量化过程在偏离源预训练模型方面产生最小偏差，同时平坦化损失曲面以促进平滑的模型合并。据我们所知，这是针对该挑战的首项研究，大量实验证实了其有效性。