层次词汇流形投影于大语言模型中：一种用于多尺度语义表示的新机制

将结构化层次嵌入整合到基于转换器的架构中，引入了一种精细化的词汇表示方法，确保在不损害计算效率的前提下保留多尺度语义关系。一种将词元映射到结构化流形上的投影机制提供了改进的词汇对齐，增强了跨不同语言任务中词表示的适应性。结构化编码框架确保层次嵌入在不同抽象层级之间保持一致，允许从局部句法特征平稳过渡到全局语义结构。实验评估表明，层次嵌入在不损害计算开销的前提下，持续优于常规词元表示，提高了语言基准中的准确率。跨多个领域的比较分析突显了层次嵌入在保持上下文一致性方面的能力，特别是在结构化词汇对齐至关重要的专业语言应用中。统计性评估进一步表明，层次嵌入在扰动条件下表现出增强的鲁棒性，确保语言结构在对抗文本修改下保持稳定。层次投影与转换器注意力机制的集成实现了更好的上下文适应，确保词元表示根据不同语言分布进行动态调整。嵌入的层次化组织提供了更大的词汇建模可解释性，促进了跨多样文本处理任务的增强泛化能力。