HSCodeComp：用于深度搜索代理在分层规则应用中的真实且专家水平基准
人工智能
2025-10-23 v1 计算与语言
多智能体系统
摘要
有效的深度搜索代理不仅要访问开放领域和领域特定知识，还要应用复杂规则——如法律条款、医学手册和关税规则。这些规则常常具有模糊的边界和隐含的逻辑关系，使得精确应用对代理构成挑战。然而，这一关键能力在当前代理基准中被大体忽略。为填补这一空白，我们引入HSCodeComp，这是一个首个真实且专家水平的电子商务基准，旨在评估深度搜索代理在分层规则应用方面的能力。在该任务中，代理的深度推理过程由这些规则引导，以预测具有噪声但真实描述的产品的10位关税系统代码（HSCode）。这些代码由世界海关组织制定，是全球供应链效率的关键。本基准基于来自大规模电子商务平台的真实数据构建，包含632个产品条目，涵盖多样化的产品类别，这些HSCode由数名人类专家标注。对几种最先进的大语言模型、开源和闭源代理进行大规模实验结果显示，最佳代理仅实现46.8%的10位准确率，远低于人类专家的95.0%。此外，详细分析表明了分层规则应用的挑战，测试时扩展无法进一步提升性能。
引用
@article{arxiv.2510.19631,
title = {HSCodeComp: A Realistic and Expert-level Benchmark for Deep Search Agents in Hierarchical Rule Application},
author = {Yiqian Yang and Tian Lan and Qianghuai Jia and Li Zhu and Hui Jiang and Hang Zhu and Longyue Wang and Weihua Luo and Kaifu Zhang},
journal= {arXiv preprint arXiv:2510.19631},
year = {2025}
}