Asterisk*：保持简洁

本文描述了 Asterisk，一种用于生成文本嵌入的紧凑型 GPT 模型。该模型采用极简架构，包含两层、两个注意力头和 256 个嵌入维度。通过从大预训练模型进行知识蒸馏，我们探索了模型规模与性能之间的权衡，同时最小化计算和内存需求。该模型主要针对分类任务进行评估和优化，实验结果表明其在各种下游应用的零样本分类中具有中等性能。通过额外配置，该模型在特定分类任务上的性能可以接近甚至超越更大架构的性能。