JETHICS：日语伦理理解评估数据集
计算与语言
2025-06-23 v1 人工智能
摘要
在这项工作中，我们提出了JETHICS，一个用于评估AI模型伦理理解的日语数据集。JETHICS包含78K个样本，并遵循现有英文ETHICS数据集的构建方法构建。它包含基于伦理学和政治哲学规范理论的四个类别，以及一个代表常识道德的类别。我们对非专有大语言模型（LLM）和GPT-4o的评估实验显示，即使是GPT-4o也仅达到约0.7的平均得分，而表现最佳的日语LLM得分约为0.5，表明当前LLM仍有相当大的改进空间。
引用
@article{arxiv.2506.16187,
title = {JETHICS: Japanese Ethics Understanding Evaluation Dataset},
author = {Masashi Takeshita and Rafal Rzepka},
journal= {arXiv preprint arXiv:2506.16187},
year = {2025}
}