SimCT：一种 LLM 开发生命周期中的简单一致性测试协议
计算与语言
2024-08-12 v2 软件工程
摘要
本文报告了我们推动大型语言模型 (LLM) 或基于 LLM 的系统或服务在行业中标准化操作程序的努力。我们提出了大型语言模型开发生命周期 (LDLC) 的概念，并强调在确保交付质量方面，一致性测试的重要性。然而，一致性测试的原则性解决方案通常被工业实践者忽视，且在学术界并不紧迫，现有的实用解决方案在严谨性和效率上不足。因此，我们提出一种简单而有效的一致性测试协议，命名为 SimCT。SimCT 旨在在不访问模型构件的情况下，主动检查 LLM 或其关联服务在不同开发阶段之间的一致性，以通过减少跨多个开发阶段团队之间的来回对齐通信，从而加快交付速度。具体而言，SimCT 包含 response-wise 与 model-wise 测试。我们分别使用 LightGBM 和 Student's t 检验实现了该协议的两个组成部分，并进行大量实验以论证 SimCT 有效性以及涉及的组件。
引用
@article{arxiv.2407.17150,
title = {SimCT: A Simple Consistency Test Protocol in LLMs Development Lifecycle},
author = {Fufangchen Zhao and Guoqiang Jin and Rui Zhao and Jiangheng Huang and Fei Tan},
journal= {arXiv preprint arXiv:2407.17150},
year = {2024}
}