ChemTEB：化学文本嵌入基准，概述嵌入模型在特定领域的性能与效率
计算与语言
2025-01-27 v2
摘要
近期的语言模型进展正引领信息检索和内容生成的新时代，嵌入模型在优化数据表示效率和性能方面发挥着重要作用。虽然像大规模文本嵌入基准（MTEB）这类基准已为通用领域的嵌入模型提供了标准化评估，但化学等专业领域仍缺乏针对性方法，due to 领域特定挑战。本文引入了新的基准——化学文本嵌入基准（ChemTEB），专为化学科学领域设计。ChemTEB 旨在解决化学文献和数据的独特语言和语义复杂性，提供一套针对化学领域数据的综合任务。通过评估 34 个开源和商业模型，我们揭示了当前方法在处理和理解化学信息方面的优势与不足。我们的工作旨在为研究社区提供标准化的领域特定评估框架，推动开发更精确和高效的化学相关 NLP 模型。此外，它提供了关于通用模型在特定领域语境下性能的见解。ChemTEB 附带开源代码和数据，进一步提升了其可访问性和实用性。
引用
@article{arxiv.2412.00532,
title = {ChemTEB: Chemical Text Embedding Benchmark, an Overview of Embedding Models Performance & Efficiency on a Specific Domain},
author = {Ali Shiraee Kasmaee and Mohammad Khodadad and Mohammad Arshi Saloot and Nicholas Sherck and Stephen Dokas and Hamidreza Mahyar and Soheila Samiee},
journal= {arXiv preprint arXiv:2412.00532},
year = {2025}
}