自回归模型中基于轨迹的意义表示
计算与语言
2023-11-30 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出通过考虑扩展输入文本的所有可能轨迹的分布，从自回归语言模型中提取意义表示。该策略无需提示、不需要微调，并且适用于任何预训练的自回归模型。此外，与基于向量的表示不同，基于分布的表示还可以通过似然函数之间的代数运算来建模非对称关系（例如，逻辑蕴含的方向、上位词/下位词关系）。这些思想立足于语义的分布式视角，并与自动机理论中的标准构造相关联，但据我们所知，它们尚未应用于现代语言模型。我们通过实验表明，从大型模型获得的表示与人类标注高度一致，在语义相似度任务上优于其他零样本且无提示的方法，并且可用于解决标准嵌入无法处理的更复杂的蕴含与包含任务。最后，我们扩展我们的方法，使用多模态自回归模型来表示来自不同模态（例如图像和文本）的数据。我们的代码可在 https://github.com/tianyu139/meaning-as-trajectories 获取。
引用
@article{arxiv.2310.18348,
title = {Meaning Representations from Trajectories in Autoregressive Models},
author = {Tian Yu Liu and Matthew Trager and Alessandro Achille and Pramuditha Perera and Luca Zancato and Stefano Soatto},
journal= {arXiv preprint arXiv:2310.18348},
year = {2023}
}