MERLOT：面向可扩展加密流量分类的基于蒸馏 LLM 的混合专家框架
机器学习
2024-11-21 v1 密码学与安全
摘要
我们提出了 MERLOT，一种基于混合专家的可扩展优化方案，对蒸馏大型语言模型进行优化以用于加密流量分类。通过在师生范式中应用模型蒸馏技术，从 GPT-2-base 导出的紧凑模型在最小化计算成本的同时保持了高分类准确率。这些模型作为 MoE 架构中的专业化专家，通过门控网络进行动态分配。与基于生成的方法不同，我们的方法直接使用带有上下文特征嵌入的最终解码器 token 作为输入来对加密流量进行分类。在 10 个数据集上的实验表明，该方法在显著降低资源需求的同时，表现出优于或媲美 SOTA 模型的性能，凸显了其有效性与鲁棒性。
引用
@article{arxiv.2411.13004,
title = {MERLOT: A Distilled LLM-based Mixture-of-Experts Framework for Scalable Encrypted Traffic Classification},
author = {Yuxuan Chen and Rongpeng Li and Zhifeng Zhao and Honggang Zhang},
journal= {arXiv preprint arXiv:2411.13004},
year = {2024}
}