QT-DoG：用于域生成的量化感知训练
机器学习
2025-06-30 v2 人工智能
计算机视觉与模式识别
机器人学
摘要
域生成(Domain Generalization, DG)中的一个关键挑战是防止对源域过拟合，这可以通过寻找损失景观中的更平坦最小值来缓解。在本工作中，我们提出一种用于域生成的量化感知训练方法(QT-DoG)，并演示了权重量化是否有效地导致损失景观中更平坦的最小值，从而增强了域生成能力。与传统聚焦于模型压缩的量化方法不同，QT-DoG利用量化作为一种隐式正则化器，通过在模型权重中引入噪声，将优化过程引导至对扰动和过拟合不那么敏感的更平坦的最小值。我们提供了分析视角和实证证据，表明量化本质上会促进更平坦的最小值，导致跨域更好的泛化。此外，凭借通过量化减小模型大小的优势，我们演示了多个量化模型的集成进一步比当前领域生成方法的SOTA更高精度，而且没有额外的计算或内存开销。代码已公开：https://saqibjaved1.github.io/QT_DoG/。
引用
@article{arxiv.2410.06020,
title = {QT-DoG: Quantization-aware Training for Domain Generalization},
author = {Saqib Javed and Hieu Le and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2410.06020},
year = {2025}
}
备注
Accepted at International Conference on Machine Learning (ICML) 2025. Project website: https://saqibjaved1.github.io/QT_DoG/