A IA deve evoluir através de código escrito por si própria, e não apenas através do aumento do tamanho dos modelos: Diana Hu, da YC

Segundo a parceira da Y Combinator Diana Hu no X, o futuro do desenvolvimento de IA passa por construir camadas de software finas por cima de modelos base, que permitam que os sistemas de IA escrevam e refinem código de forma autónoma, em vez de depender apenas do aumento de parâmetros do modelo. A abordagem permite que a IA teste, modifique e simplifique código com base em resultados de execução, sem exigir um custoso ajuste fino do próprio modelo base.

A perspetiva de Hu ecoa a investigação recente de Wen Jiayue, um elemento central da equipa de pós-treinamento da OpenAI, que demonstrou que modelos grandes conseguem dominar tarefas escrevendo código Python e fazendo debug sem ajustar quaisquer parâmetros do modelo — exemplificado pelo facto de conseguir treinar em desempenho em jogos Atari.