起始即对齐：LLM 嵌入中的概念分组
计算与语言
2025-02-25 v3 人工智能
机器学习
摘要
本文将注意力转向经常被忽视的输入嵌入——输入 transformer 块的初始表示。使用模糊图、k 最近邻（k-NN）和社区检测，我们分析来自不同 LLM 的嵌入，发现与预定义概念和与人类对齐的类别结构具有显著的社区结构。我们观察到这些分组在簇内具有组织（例如层次结构、拓扑排序等），我们假设这种结构先于上下文处理而存在。为进一步调查这些分组的概念本质，我们探索了不同 LLM 类别在其输入嵌入中的跨模型对齐，观察到对齐程度在中等到高。此外，我们提供了证据表明，这些分组的操纵在缓解 LLM 任务中的种族偏见方面发挥作用。
引用
@article{arxiv.2406.05315,
title = {Aligned at the Start: Conceptual Groupings in LLM Embeddings},
author = {Mehrdad Khatir and Sanchit Kabra and Chandan K. Reddy},
journal= {arXiv preprint arXiv:2406.05315},
year = {2025}
}