最小化基于预训练语言模型的少样本意图检测器
计算与语言
2024-09-17 v2
摘要
最近的研究表明，仅凭有限的标记数据即可训练高效意图检测器的可行性已被证实。然而，在诸如移动设备等资源受限的环境中部署这些检测器面临着其庞大尺寸的挑战。本文旨在通过探索针对少样本数据训练的PLM-based意图检测器进行规模最小化的技术来解决此问题。具体而言，我们利用大语言模型（LLM）进行数据增强，采用前沿模型压缩方法进行知识蒸馏，并设计一种名为V-Prune的数据词表修剪机制。通过这些方法，我们成功实现了在模型内存使用中达到21倍的压缩比率，包括Transformer和词表两方面，同时在四个真实世界基准测试中保持几乎相同的性能水平。
引用
@article{arxiv.2407.09943,
title = {Minimizing PLM-Based Few-Shot Intent Detectors},
author = {Haode Zhang and Albert Y. S. Lam and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2407.09943},
year = {2024}
}