Andrej Karpathy a lancé le projet open-source autoresearch, permettant à l'IA de réaliser automatiquement cent expériences d'entraînement de LLM

Gate News annonce qu’au 9 mars, Andrej Karpathy, fondateur d’Eureka Labs et cofondateur d’OpenAI, a publié hier (le 8 mars) le projet open source autoresearch, qui rassemble de manière autonome le workflow d’optimisation automatique de l’AI Agent précédemment utilisé dans le projet d’entraînement LLM nanochat, pour que les développeurs puissent l’utiliser. Ce projet adopte le modèle de conception « l’humain écrit du Markdown, l’IA écrit du code » : les développeurs définissent leur orientation de recherche en rédigeant un fichier program.md, puis l’AI Agent modifie de manière autonome le code train.py, contenant un modèle GPT complet, Muon + AdamW comme optimiseur, et la boucle d’entraînement (environ 630 lignes). Chaque expérience dure 5 minutes fixes, avec le nombre de bits par byte (val_bpb) sur le jeu de validation comme seul indicateur d’évaluation ; les améliorations supérieures à la ligne de base sont conservées et soumises, sinon abandonnées. À ce rythme, environ 12 expériences peuvent être réalisées par heure, soit environ 100 en une nuit. L’exemple présenté par Karpathy montre que sur 83 expériences, 15 ont abouti à des améliorations efficaces. Le projet nécessite seulement une GPU NVIDIA (testée sur H100), dépend de PyTorch et de quelques packages logiciels, et est open source sous licence MIT. Actuellement, la communauté a déjà développé des branches d’adaptation pour macOS et MLX.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire