De acordo com a parceira da Y Combinator, Diana Hu, no X, o futuro do desenvolvimento de IA está em construir camadas de software finas sobre modelos fundacionais que permitam que sistemas de IA escrevam e aprimorem código de forma autônoma, em vez de simplesmente ampliar os parâmetros do modelo. A abordagem permite que a IA teste, modifique e simplifique o código com base nos resultados da execução, sem exigir um ajuste caro (fine-tuning) do próprio modelo-base.
A visão de Hu ecoa pesquisas recentes de Wen Jiayue, membro central da equipe de pós-treinamento da OpenAI, que mostrou que modelos grandes podem dominar tarefas escrevendo código em Python e fazendo depuração sem ajustar nenhum parâmetro do modelo — exemplificado por um treinamento bem-sucedido em desempenho de jogos do Atari.