D’après Beating, l’équipe interne de SpaceX a presque achevé son propre cadre de formation à l’IA en langage C, V1.0, pour l’entraînement de modèles à grande échelle. Le framework est optimisé pour un immense cluster de calcul composé de 220 000 accélérateurs Nvidia GB300 et de interfaces réseau 800G. Conçu pour une efficacité au niveau du matériel (bare-metal) et un parallélisme profond des pipelines, l’architecture en langage C offrirait des performances plus de 10 fois supérieures à celles du framework JAX grand public de Google.
La nouvelle pile d’entraînement sera déployée sur le cluster de supercalculateur Colossus de SpaceX afin d’alimenter l’entraînement et l’itération à pleine échelle du modèle Grok v5 de prochaine génération.