DOPRA：解码特定加权层的累积过度惩罚与重新分配
计算与语言
2024-07-24 v2 人工智能
摘要
本文介绍了DOPRA，这是一种新颖的方法，旨在缓解多模态大语言模型（MLLMs）中的幻觉问题。与通常涉及高成本补充训练数据或集成外部知识源的现有解决方案不同，DOPRA创新性地通过解码特定加权层的惩罚并进行重新分配来解决幻觉问题，提供一种无需额外资源的经济且有效的解决方案。DOPRA基于对MLLMs内部控制幻觉机制的独特洞察，尤其是模型倾向于在自注意力矩阵中过度依赖于子集摘要令牌，忽略关键图像相关信息。这种现象在特定层中尤为突出。为抵消这种过度依赖，DOPRA在解码过程中在特定层（例如第12层）采用加权叠加惩罚和重新分配策略。此外，DOPRA包括一种回顾性分配过程，用于重新检查生成令牌的序列，允许算法重新分配令牌选择以更好地与实际图像内容保持一致，从而减少幻觉描述的发生。总体而言，DOPRA代表了通过在解码过程中进行针对性调整来系统性地减少幻觉，从而显著提升MLLMs输出质量的重要进步。
引用
@article{arxiv.2407.15130,
title = {DOPRA: Decoding Over-accumulation Penalization and Re-allocation in Specific Weighting Layer},
author = {Jinfeng Wei and Xiaofeng Zhang},
journal= {arXiv preprint arXiv:2407.15130},
year = {2024}
}