Perplexity 公布网页搜索代理的后训练方法；基于 Qwen3.5 的模型在准确率与成本上优于 GPT-5.4

Gate News 消息，4 月 23 日——Perplexity 的研究团队发布了一篇技术文章，详细说明其针对网页搜索代理的后训练方法。该方法使用两个开源的 Qwen3.5 模型 (Qwen3.5-122B-A10B 和 Qwen3.5-397B-A17B)，并采用两阶段流水线：先进行监督微调 (SFT)，以建立指令遵循与语言一致性；随后进行在线强化学习 (RL)，以优化搜索准确率与工具使用效率。

强化学习阶段使用 GRPO 算法，并结合两种数据源：一种专有的多跳可验证问答数据集，由内部种子查询构建而成，要求推理 2–4 跳，并通过多求解器验证；以及基于评分标准的通用对话数据，将部署需求转换为客观可检验的原子条件，从而防止 SFT 行为退化。

奖励设计采用门控聚合——只有在达到基线正确性时，偏好分数才会计入 (question-answer 匹配或满足所有评分标准)，从而避免高偏好信号掩盖事实错误。效率惩罚使用组内锚定：对工具调用以及生成长度施加平滑惩罚，且该基线以同一组中正确答案的长度为准。

评估结果表明，Qwen3.5-397B-SFT-RL 在各项搜索基准上实现同级最佳表现。在 FRAMES 上，它在单次工具调用时达到 57.3% 准确率，较 GPT-5.4 高 5.7 个百分点；较 Claude Sonnet 4.6 高 4.7 个百分点。在中等预算 (四次工具调用) 条件下，它以每次查询 $0.02 实现 73.9% 准确率；相比之下，GPT-5.4 为每次查询 $0.085 且准确率 67.8%，Sonnet 4.6 为每次查询 $0.153 且准确率 62.4%。成本数据基于各提供方公开的 API 定价，并不包含缓存优化。