中国モデルが前回のSWE-rebenchで全て上位10に入らず「スコア稼ぎ」と嘲笑されたが、今回は4席を占めた

1M AI Newsの監視によると、SWE-rebenchは毎月GitHubから新しいソフトウェアエンジニアリングタスク(issue + PR)を抽出し、リアルタイムでベンチマークを行うもので、モデルは事前に問題に最適化できません。メンテナンス担当のIbragimは3月23日にランキングの更新を発表し、以前のサンプルデモと80ステップの操作制限を廃止し、新たに補助評価タスクを追加しました。

最新のトップ10ランキング:

  1. Claude Opus 4.6:65.3%
  2. GPT-5.2 medium:64.4%
  3. GLM-5:62.8%
  4. GPT-5.4 medium:62.8%
  5. Gemini 3.1 Pro Preview:62.3%
  6. DeepSeek-V3.2:60.9%
  7. Claude Sonnet 4.6:60.7%
  8. Claude Sonnet 4.5:60.0%
  9. Qwen3.5-397B-A17B:59.9%
  10. Step-3.5-Flash:59.6%

智谱AIのオープンソースモデルGLM-5(MITライセンス)は62.8%で3位に入り、トップのオープンソースモデルです。中国のモデルはトップ10のうち4つを占めており、GLM-5のほかに深度求索のDeepSeek-V3.2(第6位)、阿里通义千問のQwen3.5-397B-A17B(第9位)、階段星辰のStep-3.5-Flash(第10位)があります。智谱Z.aiのグローバル責任者李子玄は、「前回のSWE-rebench更新時には中国モデルはすべてトップ10外だったが、『benchmaxing』(スコア稼ぎ)と批判された」とコメントしています。

免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし