动态噪声偏好优化：基于自合成数据的大语言模型自我改进
光学
2025-02-11 v1
摘要
尽管大语言模型取得了显著成功，但其依赖大量人工标注数据限制了进一步规模化的潜力。在这种情况下，利用自生成合成数据进行微调已成为关键。然而，现有方法往往无法确保跨迭代的持续改进，性能仅停留在最小更新后。为克服此挑战，我们引入动态噪声偏好优化（DNPO），其结合用于构建偏好对的动态样本标记与偏好优化期间的受控可训练噪声注入。我们的 метод有效防止停滞，实现持续改进。在Llama-3.2-3B和Zephyr-7B实验中，DNPO在多个基准上 consistently优于现有方法。此外，DNPO在Zephyr-7B上显示出显著提升的模型生成数据质量，GPT-4评估中相对于基线的胜负率差距达29.4%。
引用
@article{arxiv.2502.05399,
title = {High-Order Exceptional Point-Based Rotation Sensing in Anti-Parity time Symmetric Microresonators},
author = {Wenxiu Li and Zelei Li and Jincheng Li and Xin Sun and Zongqi Yang and Ce Qin and Xinyao Huang and Anping Huang and Hao Zhang and Zhisong Xiao},
journal= {arXiv preprint arXiv:2502.05399},
year = {2025}
}