微调小型嵌入以提升性能
计算与语言
2024-11-28 v1
摘要
情境嵌入在 various 自然语言处理任务中已取得最先进成果。然而，这些嵌入受限于需要大量数据和巨大计算资源的模型。这是一个问题，尤其是对于资源有限的语言（如尼泊尔语），因为互联网上提供的数据量通常不足以支撑这些模型。本工作采用在尼泊尔语语言上预训练的六个注意力头的不完整 BERT 模型，并在先前未见的数据上进行微调。对内在和外在评估得到的结果进行比较，分别与原始模型基线和在尼泊尔语上预训练的完整 BERT 模型（作为 oracle）的结果进行比较。结果表明，尽管 oracle 在平均情况下表现更好，但对小型嵌入进行微调的效果显著优于原始基线。
引用
@article{arxiv.2411.18099,
title = {Fine-Tuning Small Embeddings for Elevated Performance},
author = {Biraj Silwal},
journal= {arXiv preprint arXiv:2411.18099},
year = {2024}
}