感知表示是可诱导的接口
计算与语言
2026-05-28 v1 人工智能
摘要
感知表示（显式的、每个标记的意义分解）对于消歧、引导和跨语言对齐非常有用，但现有方法需要模型在预训练时预先嵌入意义结构。我们提出了 ACROS，通过一个带有门控残差添加的机制将显式的感知路径诱导到冻结的预训练解码器语言模型中。在 SmolLM2-360M 上，ACROS 在保持基础语言模型质量的同时，支持同一诱导变量的三种用途：零样本词汇消歧（在 Raganato ALL 上达到 64.95 F1 分数，与 WordNet first-sense 启发式方法相当），以及在 5,161 个 CoInCo 案例中进行低 KL 词汇引导（简单非 oracle 代理可恢复约 90% 的正向偏移），以及 SENSIA 跨语言适应（平均 R@1 0.988，目标 FLORES PPL 7.94）。ACROS 将感知表示变为普通预训练语言模型的可诱导接口。
引用
@article{arxiv.2605.28669,
title = {Sense Representations Are Inducible Interfaces},
author = {Jan Christian Blaise Cruz and Alham Fikri Aji},
journal= {arXiv preprint arXiv:2605.28669},
year = {2026}
}
备注
https://github.com/jcblaisecruz02/acros