大语言模型的自复数化文化对齐

随着大语言模型(LLMs)在许多国家日益可访问，正确地将其对齐以服务于不同文化中多元化的人类价值观至关重要。然而，LLMs中的多元文化对齐仍是一个开放问题。本文提出了CultureSPA，即一种自复数化文化对齐框架，允许LLMs同时对齐到多元文化。该框架首先生成关于各种文化话题的问题，然后在文化感知和文化不敏感设置下生成LLM输出。通过比较文化感知/不敏感输出，我们能够检测并收集与文化相关的实例。这些实例用于微调LLMs以服务于多元文化，可以是以文化联合方式或文化特定方式。大量实验表明，CultureSPA显著提高了LLMs对多元文化的对齐程度，而不会损害通用能力。且如果CultureSPA与先进的提示工程技术结合使用，可以获得进一步的改进。文化联合与文化特定调优策略之间的比较，以及数据质量和数量的变化，均揭示了我们方法的鲁棒性。我们还探讨了CultureSPA的机制以及它所反映的不同文化之间的关系。