LEALLA：基于知识蒸馏的轻量级语言无关句子嵌入学习
计算与语言
2023-12-27 v2
摘要
LaBSE（Feng等人，2022）等大规模语言无关句子嵌入模型在平行句对齐任务上取得了最先进的性能。然而，这些大规模模型可能存在推理速度与计算开销的问题。本研究系统性地探索利用轻量级模型学习语言无关句子嵌入。我们证明，一个瘦深型编码器能够为109种语言构建鲁棒的低维句子嵌入。借助所提出的蒸馏方法，我们通过融入教师模型的知识实现了进一步提升。Tatoeba、United Nations和BUCC上的实证结果显示了轻量级模型的有效性。我们在TensorFlow Hub上发布了轻量级语言无关句子嵌入模型LEALLA。
引用
@article{arxiv.2302.08387,
title = {LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation},
author = {Zhuoyuan Mao and Tetsuji Nakagawa},
journal= {arXiv preprint arXiv:2302.08387},
year = {2023}
}
备注
EACL 2023 main conference; LEALLA models: https://www.kaggle.com/models/google/lealla (modified url in v2 of this paper)