BatteryPass-12K：面向数字电池护照 conformity 任务的第一个数据集
计算与语言
2026-05-01 v1
摘要
我们介绍一种新颖任务——数字电池护照 (DBP) conformity 分类，并引入首个公开基准：BatteryPass-12K，该数据集由真实试点样本合成而成。这一数据集的发布是因为欧盟关于 DBP 的法规即将生效，而目前不存在公开数据集。我们对 22 个语言模型 (LM) 在零-shot 推断中进行评估，涵盖小型语言模型 (SLMs)、专家混合模型 (MoEs) 和密集型大型语言模型 (LLM)。我们还进行了分析，额外评估了 few-shot 推断和 prompt-injection 攻击，发现：(1) 思考模型表现最佳（GPT-5.4 在验证集和测试集上分别以 0.98 (0.03) 和 0.71 (0.22) 的 F1 得分以及 95% 置信区间为最佳），(2) few-shot 示例显著提升性能，(3) 一般能力较强的前沿模型对该任务仍具挑战性，(4) 仅靠扩大模型参数并不一定导致性能提升，部分小型语言模型甚至超越了一些大型语言模型，(5) prompt-injection 攻击会降低性能。我们指出，尽管 BatteryPass-12K 仅限于真实试点样本，但可能对已知或新兴的电池领域任务（如生命周期推理）具有参考价值。我们以宽松许可证 (CC-BY-4.0) 公开发布该数据集。
引用
@article{arxiv.2604.26986,
title = {BatteryPass-12K: The First Dataset for the Novel Digital Battery Passport Conformance Task},
author = {Tosin Adewumi and Martin Karlsson and Lama Alkhaled and Marcus Liwicki},
journal= {arXiv preprint arXiv:2604.26986},
year = {2026}
}
备注
19 pages, 4 figures