理解医学概念嵌入的稳定性
计算与语言
2023-04-26 v2
摘要
频率是训练高质量词嵌入的主要因素之一。近期若干工作讨论了通用领域词嵌入的稳定性，并提出了影响稳定性的因素。在本工作中，我们对医学领域概念嵌入的稳定性进行了详细分析，特别是其与概念频率的关系。分析揭示了低频概念出人意料的高稳定性：低频（<100）概念具有与高频（>1000）概念相同的高稳定性。为深入理解这一发现，我们提出了一个新因素——上下文词的噪声度，它影响医学概念嵌入的稳定性，与频率无关。我们通过展示其与医学概念嵌入稳定性的线性相关性来评估所提出的因素。这种相关性清晰且与多组医学概念一致。基于线性关系，我们提出了调整上下文词噪声度以改进稳定性的建议。最后，我们证明了所提因素可推广至通用领域的词嵌入稳定性。
引用
@article{arxiv.1904.09552,
title = {Understanding the Stability of Medical Concept Embeddings},
author = {Grace E. Lee and Aixin Sun},
journal= {arXiv preprint arXiv:1904.09552},
year = {2023}
}
备注
v2