Trajectory lança plataforma SkyRL open-source e alcança melhoria de 2,81x na capacidade de processamento

De acordo com OneMillion_AI, Trajectory em colaboração com o Sky Computing Lab da UC Berkeley e a Anyscale recentemente anunciou a plataforma de código aberto SkyRL e a arquitetura de Multi-LoRA Training para o fine-tuning de modelos de linguagem de grande porte. O sistema aborda ineficiências na otimização tradicional do modelo ao manter uma base compartilhada do modelo na memória da GPU, enquanto trata múltiplos experimentos de fine-tuning como módulos de adaptador leves. Os testes mostraram que o throughput fim a fim dos experimentos melhorou em 2,81 vezes, com o throughput de tempo absoluto em nó único atingindo melhoria de 3,25 vezes, permitindo que modelos grandes alcancem evolução própria em nível de horas por meio de dados de produção em tempo real. O código de treinamento agora está disponível no repositório SkyRL.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários