ELTEX：一种面向领域驱动的合成数据生成框架
计算与语言
2025-04-16 v2
摘要
我们提出了高效大语言模型标记提取（ELTEX），一个通过系统提取和集成领域指示符来解决大语言模型领域专业化关键挑战的框架。与依赖隐式知识迁移的方法不同，ELTEX 明确利用领域信号来保持专业知识的完整性。在我们的网络安全案例研究中，ELTEX 增强的数据使一个微调的 Gemma-2B 模型在区块链网络攻击分类方面实现了与 GPT-4o 相当的性能，同时降低了计算需求。我们的 Google Sheets 实现使 ELTEX 对非技术用户可用。我们的贡献包括：（1）ELTEX 框架；（2）Google Sheets 插件实现；（3）经验验证，展示了 ELTEX 如何缩小小模型与大模型之间的性能差距；以及（4）一个包含 11,448 个文本的区块链网络攻击检测合成数据集。
引用
@article{arxiv.2503.15055,
title = {ELTEX: A Framework for Domain-Driven Synthetic Data Generation},
author = {Arina Razmyslovich and Kseniia Murasheva and Sofia Sedlova and Julien Capitaine and Eugene Dmitriev},
journal= {arXiv preprint arXiv:2503.15055},
year = {2025}
}