基于马哈拉鲁巴斯距离的类蒸馏：实用语言理解任务的高效训练范式
计算与语言
2025-05-20 v1
摘要
检测如性别歧视或含蓄语言（如隐喻或讽刺）的行为，对增强在线社交话语的安全性、清晰度和解释性至关重要。虽然现有分类器在这些任务上提供了强大的结果，但往往伴随着显著的计算成本和高数据需求。在本工作中，我们提出了 \textbf{Cla}ss \textbf{D}istillation (ClaD)，一种新颖的训练范式，旨在解决核心挑战：从高度多样且异构的背景中提炼出小而明确定义的目标类。ClaD 集成了两个关键创新：(i) 基于类分布结构属性的损失函数，基于马哈拉鲁巴斯距离；(ii) 为类分离优化的可解释决策算法。我们在三个基准检测任务上进行测试——性别歧视、隐喻和讽刺——ClaD 超过了有竞争力的基线方法，即使在较小的语言模型和数量级更少的参数下，也能实现与几个大型语言模型 (LLM) 相当的性能。这些结果表明 ClaD 作为一种高效工具，可用于需要从更大异构背景中提炼出小目标类的实用语言理解任务。
引用
@article{arxiv.2505.11829,
title = {Class Distillation with Mahalanobis Contrast: An Efficient Training Paradigm for Pragmatic Language Understanding Tasks},
author = {Chenlu Wang and Weimin Lyu and Ritwik Banerjee},
journal= {arXiv preprint arXiv:2505.11829},
year = {2025}
}