1M AI Newsの監視によると、SWE-rebenchは毎月GitHubから新しいソフトウェアエンジニアリングタスク(issue + PR)を抽出し、リアルタイムでベンチマークを行うもので、モデルは事前に問題に最適化できません。メンテナンス担当のIbragimは3月23日にランキングの更新を発表し、以前のサンプルデモと80ステップの操作制限を廃止し、新たに補助評価タスクを追加しました。
最新のトップ10ランキング:
智谱AIのオープンソースモデルGLM-5(MITライセンス)は62.8%で3位に入り、トップのオープンソースモデルです。中国のモデルはトップ10のうち4つを占めており、GLM-5のほかに深度求索のDeepSeek-V3.2(第6位)、阿里通义千問のQwen3.5-397B-A17B(第9位)、階段星辰のStep-3.5-Flash(第10位)があります。智谱Z.aiのグローバル責任者李子玄は、「前回のSWE-rebench更新時には中国モデルはすべてトップ10外だったが、『benchmaxing』(スコア稼ぎ)と批判された」とコメントしています。