数据增强量化感知知识蒸馏

量化感知训练（QAT）和知识蒸馏（KD）相结合，可在创建低比特深度学习模型时实现竞争性能。现有 KD 和 QAT 研究侧重从网络输出角度改进量化模型的准确性，通过设计更好的 KD 损失函数或优化 QAT 的前向和反向传播。然而，针对输入转换（如数据增强，DA）的影响，几乎没有受到关注。量化感知 KD 与 DA 之间的关系尚未被探索。本文提出如何选择合适的数据增强策略，尤其是针对低精度模型。我们提出一种新指标，根据其在最大化情境互信息（Contextual Mutual Information）——即与图像标签无直接相关的信息——方面的能力，以及确保每个类别的预测在平均上接近真实标签的能力，对数据增强进行评估。该方法自动对数据增强进行排序和选择，所需的训练开销最小，兼容任何 KD 或 QAT 算法。广泛的评估表明，使用我们的方法选择数据增强策略，可显著提升各种模型架构和数据集上的最新 QAT 和 KD 工作的性能。