NVIDIA e MIT lançam framework Lightning OPD, aumentando 4x a eficiência da distilação de modelos enquanto eliminam problemas de memória da GPU

Segundo as informações, investigadores da NVIDIA e do MIT lançaram o Lightning OPD (Offline On-Policy Distillation), um novo quadro de pós-treino para modelos de linguagem de grande dimensão que elimina a necessidade de manter um modelo “teacher” em funcionamento durante o treino. Ao pré-computar, offline, as log-probabilidades do modelo “teacher”, o quadro melhora a eficiência do treino em 4x, libertando todos os recursos da GPU para o treino do modelo “student”.

Em testes com 8 GPUs NVIDIA H100, o Lightning OPD conseguiu destilar com sucesso o Qwen3-30B-A3B-Base (um modelo MoE com 30 mil milhões de parâmetros) e atingiu 71,0 no benchmark AIME 2024, enquanto o OPD standard ficou sem memória no mesmo hardware. Para o modelo Qwen3-8B mais pequeno, o quadro exigiu apenas 30 horas de GPU para alcançar 69,9 pontos.