调和标记投影 (HTP)：一种无词汇表、无训练、确定且可逆的嵌入方法
计算与语言
2025-11-27 v1 机器学习
摘要
本文介绍调和标记投影 (HTP)，一种无需训练、无词汇表、确定性且可逆的文本嵌入框架。不同于依赖统计共现或优化的神经嵌入，HTP 将每个标记解析为其 Unicode 整数表示派生的调和轨迹，建立了离散符号与连续向量空间之间的双射且可解释的映射。调和公式提供相位一致的投影，保留结构和可逆性，使从纯几何对齐中估计语义相似性成为可能。对语义文本相似性基准 (STS-B) 及其多语言扩展进行实验评估，显示 HTP 在英语中的斯皮尔曼相关系数达到 = 0.68，并在十种语言中保持稳定性能，计算开销极低，句子对延迟亚毫秒。此证明了从确定性几何中可涌现出有意义的语义关系，为数据驱动嵌入提供了一个透明且高效的替代方案。
引用
@article{arxiv.2511.20665,
title = {Harmonic Token Projection (HTP): A Vocabulary-Free, Training-Free, Deterministic, and Reversible Embedding Methodology},
author = {Tcharlies Schmitz},
journal= {arXiv preprint arXiv:2511.20665},
year = {2025}
}