增强型日语常识道德数据集：掩码标记与标签提升
计算与语言
2024-10-15 v1 人工智能
摘要
人工智能的快速发展使得将道德推理集成到 AI 系统中至关重要。然而，现有模型和数据集常常忽视区域和文化差异。为此，我们扩大了 JCommonsenseMorality（JCM）数据集，这是唯一公开的日语道德数据集。Extended JCM（eJCM）通过我们提出的句子扩展方法——掩码标记与标签提升（Masked Token and Label Enhancement, MTLE）——将从原始 13,975 句扩展到 31,184 句。MTLE 选择性地掩码与道德判断相关的句子重要部分，并用大型语言模型（LLM）生成的替代表达替换，同时重新分配适当标签。使用我们的数据集训练的模型在 F1 分数上达到 0.857，高于原始 JCM（0.837）、ChatGPT 一次分类（0.841）以及使用基于 AugGPT 的数据增强方法（0.850）。 Specifically, 在独特于日语文化的复杂道德推理任务中，训练使用 eJCM 的模型表现显著提升（从 0.681 提升至 0.756），并接近 GPT-4 Turbo（0.787）的性能。这一结果表明 eJCM 数据集的有效性以及考虑文化背景开发模型和数据集的重要性。
引用
@article{arxiv.2410.09564,
title = {Extended Japanese Commonsense Morality Dataset with Masked Token and Label Enhancement},
author = {Takumi Ohashi and Tsubasa Nakagawa and Hitoshi Iyatomi},
journal= {arXiv preprint arXiv:2410.09564},
year = {2024}
}