Sakana AI e Nvidia alcançam inferência do H100 30% mais rápida, pulando 80% dos cálculos inválidos

Sakana AI e Nvidia disponibilizaram TwELL em código aberto, um formato de dados esparso que permite que as GPUs H100 ignorem 80% das computações inválidas em grandes modelos de linguagem sem comprometer a precisão. A solução oferece até 30% mais velocidade na inferência e 24% mais rapidez no treinamento nas H100, ao mesmo tempo em que reduz o uso máximo de memória. Em testes em um modelo de 1,5 bilhão de parâmetros, a abordagem reduziu os neurônios ativos para abaixo de 2% por meio de regularização leve durante o treinamento, sem degradação de desempenho em sete tarefas downstream.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários