LightLM：一种用于生成式推荐的轻量级深而窄语言模型

本文提出 LightLM，一种基于 Transformer 的轻量级语言模型，用于生成式推荐。尽管基于 Transformer 的生成建模已在 NLP 和视觉等多个 AI 子领域变得重要，但由于其对个性化生成建模的独特需求，生成式推荐仍处于起步阶段。现有的生成式推荐工作常使用面向 NLP 的 Transformer 架构（如 T5、GPT、LLaMA 和 M6），这些架构重量级且并非专为推荐任务设计。LightLM 通过引入一种轻量级的深而窄 Transformer 架构来解决该问题，该架构专为直接生成推荐物品而定制。此结构特别适合直接的生成式推荐，其源于如下观察：该任务中语言模型不必过宽，因为输入主要由短令牌组成，非常契合模型的容量。我们还展示了我们设计的用户与物品 ID 索引方法，即谱协同索引（SCI）和图协同索引（GCI），使深而窄 Transformer 架构在推荐上优于大规模语言模型。此外，为解决生成物品作为输出时的幻觉问题，我们提出了面向生成式推荐器的约束生成过程。在真实世界数据集上的实验表明，LightLM 在推荐准确率和效率方面均优于多种竞争性基线。代码见 https://github.com/dongyuanjushi/LightLM。