位置偏置下的 Token 同质化
计算与语言
2025-08-26 v1 人工智能
机器学习
摘要
本文探讨了 token 同质化问题——即大语言模型中，token 表示在 transformer 各层向统一性趋同的现象及其与位置偏置的关系。我们通过层级相似性分析和受控实验， empirically 检查是否存在同质化以及位置偏置如何放大此效应。我们的发现确认了同质化的存在以及其对位置注意力机制的依赖。
引用
@article{arxiv.2508.17126,
title = {Token Homogenization under Positional Bias},
author = {Viacheslav Yusupov and Danil Maksimov and Ameliia Alaeva and Tatiana Zaitceva and Antipina Anna and Anna Vasileva and Chenlin Liu and Rayuth Chheng and Danil Sazanakov and Andrey Chetvergov and Alina Ermilova and Egor Shvetsov},
journal= {arXiv preprint arXiv:2508.17126},
year = {2025}
}