Perplexity 披露网络搜索代理的后训练方法；基于 Qwen3.5 的模型在准确率与成本上优于 GPT-5.4

封面新闻消息，4 月 23 日——Perplexity 的研究团队发布了一篇技术文章，详细说明其用于网络搜索代理的后训练方法。该方法使用两个开源的 Qwen3.5 模型 (Qwen3.5-122B-A10B 和 Qwen3.5-397B-A17B)，并采用两阶段流水线：先进行监督微调 (SFT) 以建立指令遵循与语言一致性，然后通过在线强化学习 (RL) 来优化搜索准确性与工具使用效率。

RL 阶段使用 GRPO 算法，来自两类数据源：一是由内部种子查询构建的专有多跳可验证问答数据集，这些查询需要 2–4 跳推理，并采用多解算器验证；二是基于评分标准的通用对话数据，它将部署需求转换为客观可核查的原子条件，以防止 SFT 行为退化。

奖励设计采用门控聚合——只有在达到基线正确性时（(question-answer match 或所有评分标准要求均满足)）偏好分数才会计入，避免高偏好信号掩盖事实错误。效率惩罚使用组内锚定：对工具调用以及生成长度施加平滑惩罚，这些值超过了同一组中正确答案的基线水平。

评估显示，Qwen3.5-397B-SFT-RL 在各项搜索基准上实现了同类最佳表现。在 FRAMES 上，它在单次工具调用时达到 57.3% 的准确率，较 GPT-5.4 高出 5.7 个百分点，较 Claude Sonnet 4.6 高出 4.7 个百分点。在适度预算 (four tool calls) 下，它以每次查询 $0.02 的成本达到 73.9% 准确率；相比之下，GPT-5.4 在每次查询 $0.085 时准确率为 67.8%，Sonnet 4.6 在每次查询 $0.153 时准确率为 62.4%。成本数据基于各提供方公开的 API 定价，并不包含缓存优化。