评估嵌入技术框架FEET

本文介绍FEET—a一个用于指导基础模型开发和基准测试的标准化协议。虽然存在众多用于评估这些模型的基准数据集，但本文提出一种结构化的评估协议，以获得对其实际性能的全面理解。我们定义了三个主要用例：冻结嵌入、few-shot嵌入和完全微调嵌入。每个场景都详细说明并通过两个案例研究进行说明：一个在情感分析领域，另一个在医学领域，表明这些评估提供了对基础模型在研究应用中有效性的全面评估。我们建议将此协议作为未来旨在推动表示学习模型发展的研究的标准。