超新星事件数据集：通过关键事件分析解读大型语言模型的性格
计算与语言
2025-06-24 v2 人工智能
摘要
大型语言模型（LLM）日益集成到日常应用中。随着其影响力的增长，理解其决策过程及底层性格变得至关重要。本文我们提出的超新星事件数据集（Supernova Event Dataset）用于解释模型性格，该数据集包含涵盖传记、历史事件、新闻和科学发现等多样化文章。我们使用该数据集对大型语言模型进行基准测试，提取并对文本中的关键事件进行排序，这是一项需要在长程语境中进行推理并建模因果链的主观且复杂的挑战。我们评估了小型模型如Phi-4、Orca 2和Qwen 2.5，以及大型且性能更强的模型如Claude 3.7、Gemini 2.5和OpenAI o3，并提出一种框架，其中另一个大型语言模型充当评判官，基于其选择和事件分类来推断每个模型的性格。我们的分析显示出不同的性格特征；例如，Orca 2展示出情感推理，关注人际互动，而Qwen 2.5显示更具战略性、分析性的风格。当分析科学发现事件时，Claude Sonnet 3.7强调概念构建，Gemini 2.5 Pro优先考虑经验验证，而o3偏好逐步因果推理。这种分析提高了模型可解释性，使其对广泛的多样化应用更加用户友好。项目页面 - https://www.supernova-event.ai/
引用
@article{arxiv.2506.12189,
title = {Supernova Event Dataset: Interpreting Large Language Models' Personality through Critical Event Analysis},
author = {Pranav Agarwal and Ioana Ciucă},
journal= {arXiv preprint arXiv:2506.12189},
year = {2025}
}
备注
Accepted at Actionable Interpretability Workshop at ICML 2025