赢得Amazon KDD Cup'24
计算与语言
2024-08-12 v1 人工智能
机器学习
摘要
本文描述了Amazon KDD Cup 2024多任务线上购物挑战中所有5个任务的获奖方案。该挑战旨在构建一个实用的助手，回答电子商务领域的问题。比赛包含57个多样化任务，覆盖5种不同任务类型（例如多选题）以及4个不同轨道（例如多语言）。我们的解决方案为每个轨道部署一个单一模型。我们对Qwen2-72B-Instruct进行微调，使用自建训练数据集。由于比赛仅提供96个示例问题，我们通过处理多个公开数据集或使用大型语言模型进行数据增强和合成数据生成来构建自建训练数据集。我们应用wise-ft以应对分布偏移，并在一个模型中集成多个LoRA适配器。我们采用Logits处理器约束模型输出中与任务相关的标记。在推理阶段使用AWQ 4位量化和vLLM，以满足每个轨道20到140分钟的时间限制对测试数据集进行预测。我们的解决方案在每个单独轨道中获得第一名，也是Amazon KDD Cup 2024总决赛的第一名。
引用
@article{arxiv.2408.04658,
title = {Winning Amazon KDD Cup'24},
author = {Chris Deotte and Ivan Sorokin and Ahmet Erdem and Benedikt Schifferer and Gilberto Titericz and Simon Jegou},
journal= {arXiv preprint arXiv:2408.04658},
year = {2024}
}