TWICE：低资源领域特定嵌入模型能带来什么优势？——以韩国金融文本为例

嵌入模型的领域特定性对于有效性能至关重要。然而，现有基准（如 FinMTEB）主要为高资源语言设计，低资源场景（如韩语）鲜有探索。直接翻译既定的英文基准往往无法捕捉低资源领域中所蕴含的语言和文化细微差异。本文名为 TWICE：What Advantages Can Low-Resource Domain-Specific Embedding Models Bring? A Case Study on Korea Financial Texts 的研究，介绍了 KorFinMTEB——一个针对韩国金融领域的新颖基准，特别针对低资源语言的独特文化特征进行设计。我们的实验结果表明，虽然模型在翻译版 FinMTEB 上表现稳健，但在 KorFinMTEB 上揭示了在需深层语义理解的任务中存在的细微却关键的差异，这凸显了直接翻译的局限性。这种差异凸显了必须采用包含语言特定惯用特征和文化细微差异的基准的必要性。本研究的见解倡导发展能更准确评估并推动低资源环境下嵌入模型发展的领域特定评估框架。