生成式与判别式LSTM文本分类器后训练量化：校准、类别平衡与鲁棒性研究
机器学习
2025-07-15 v1 人工智能
摘要
文本分类在诸如工业监控、健康诊断和智能助理等边缘计算应用中发挥关键作用，其中低延迟和高精度都是关键要求。特别是生成式分类器已显示对离群分布和噪声数据具有鲁棒性，这在部署此类实时边缘环境中至关重要。然而，在边缘设备上部署此类模型面临计算和内存限制。后训练量化(PTQ)无需重新训练即可降低模型规模和计算成本，因而适用于边缘部署。在本工作中，我们对使用Brevitas量化库进行PTQ的生成式和判别式长短期记忆(LSTM)文本分类模型进行了全面比较研究。我们在多个位宽下评估这两种类型的分类器模型，并评估其在常规和噪声输入条件下的鲁棒性。我们发现，尽管判别式分类器保持鲁棒性，但生成式分类器对位宽、用于PTQ的校准数据以及量化推理中的输入噪声较为敏感。我们研究了类别不平衡在校准数据中对这两种类型分类器的影响，比较了在类别样本分布均匀或不均匀的情况下的情形及其对权重调整和激活轮廓在PTQ期间的影响。通过基于来自非参数假设检验的统计检验，我们确定，在PTQ期间使用类别不平衡数据会在生成式LSTM分类器较低位宽下引入不足的权重调整，从而导致性能下降。该研究凸显了PTQ中校准数据的作用，以及生成式分类器在噪声条件下何时成功或失败，帮助在边缘环境中实现部署。
引用
@article{arxiv.2507.09687,
title = {Post-Training Quantization of Generative and Discriminative LSTM Text Classifiers: A Study of Calibration, Class Balance, and Robustness},
author = {Md Mushfiqur Rahaman and Elliot Chang and Tasmiah Haque and Srinjoy Das},
journal= {arXiv preprint arXiv:2507.09687},
year = {2025}
}