Google a mis à jour Android Bench aujourd'hui en ajoutant huit nouveaux modèles d'IA à son tableau de classement de référence pour le développement d'applications Android. La mise à jour inclut Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus et Qwen 3.7 Max. Google a créé cette référence pour évaluer la performance des grands modèles de langage sur cent tâches de développement Android, la version initiale ayant été lancée en mars.
Google ajoute huit modèles d'IA au classement Android Bench
Google a étoffé Android Bench avec huit nouveaux modèles. Parmi eux, Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus et Qwen 3.7 Max. La société a également adopté un nouveau cadre et intégré des métriques pour le coût et l'efficacité. Google a invité les développeurs à effectuer leurs propres tests et à soumettre leurs retours.
Claude Fable 5 en tête du classement avec 84,5 % de précision
Claude Fable 5 a atteint une précision de 84,5 % lors du test Android Bench, se classant en première position. GPT 5.4 et Claude Sonnet 5 occupent respectivement la deuxième et la troisième place. Gemini 3.1 Pro s’est classé cinquième dans le classement mis à jour. Les modèles d'OpenAI ont légèrement devancé l'IA de Google lors de la version initiale lancée en mars.
Android Bench évalue cent tâches de développement
Android Bench teste des grands modèles de langage sur une série de cent tâches de développement Android. La référence vise à démontrer quels agents d'IA excellent dans la création d'applications Android. Google a lancé la version initiale en mars et a depuis intégré des modèles à poids ouverts dans le cadre d’évaluation.
FAQ
Quels modèles Google a-t-il ajouté à Android Bench aujourd'hui ?
Google a ajouté huit nouveaux modèles à Android Bench : Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus et Qwen 3.7 Max.
Quelle précision Claude Fable 5 a-t-il atteinte dans Android Bench ?
Claude Fable 5 a obtenu 84,5 % de précision lors du test Android Bench, se classant en première position.
Quand Google a-t-il lancé la version initiale d'Android Bench ?
Google a lancé la version initiale d'Android Bench en mars.