偏好正式：揭示大语言模型在冲突知识数据上的学习偏好

在大量预训练数据上训练后，大语言模型在许多知识密集型任务上表现出了优异的性能。然而，预训练数据往往包含误导甚至冲突的信息，理解LLM在训练过程中如何处理这些噪声数据是很有趣的。在本研究中，我们系统地分析了LLM对具有冲突知识的数据的学习偏好。我们发现，预训练的LLM建立了类似于人类的学习偏好，即偏好正式文本和拼写错误较少的文本，当面临冲突时，这导致它们更快地学习并更有利地处理具有这些特征的数据中的知识。这一发现在不同模型和语言中具有普遍性，并且在更大的模型中更为明显。深入分析揭示，LLM倾向于信任具有与大多数数据一致性特征的数据，并且通过操纵与大多数数据的一致程度，有可能灌输新的偏好并消除旧的偏好。