文本即信号：基于嵌入、对数概率和降噪的定量语义评分
计算与语言
2026-04-16 v1 人工智能
摘要
本文提出了一种将文本语料转化为定量语义信号的实用流程。每条新闻项被表示为一个全文嵌入，通过基于可配置位置字典的对数概率评估进行评分，并投影到降噪的低维流形上以进行结构解释。在本案例研究中，该字典被实例化为六个语义维度，并应用于包含11,922篇关于人工智能的葡萄牙语新闻文章的语料库。由此产生的身份空间既支持文档级别的语义定位，也通过聚合概况支持语料库级别的表征。我们展示了Qwen嵌入、UMAP、直接从模型输出空间导出的语义指标以及三阶段异常检测程序如何组合成一个可操作的文本即信号工作流，用于语料库检查、监控和下游分析支持等人工智能工程任务。由于身份层是可配置的，同一框架可以根据不同分析流程的需求进行调整，而非固定于一个通用模式。
引用
@article{arxiv.2604.13056,
title = {Text-as-Signal: Quantitative Semantic Scoring with Embeddings, Logprobs, and Noise Reduction},
author = {Hugo Moreira},
journal= {arXiv preprint arXiv:2604.13056},
year = {2026}
}
备注
14 pages, 5 figures, 2 tables. Preprint