Coinbase Adota Modelos de IA Chineses GLM 5.2 e Kimi 2.7 como Padrão para Engenheiros

O CEO da Coinbase, Brian Armstrong, afirmou na passada sexta-feira (26) que a exchange de criptomoedas definiu os modelos chineses de IA open-source GLM 5.2 e Kimi 2.7 como modelos de linguagem de grande escala predefinidos para os engenheiros internos. Armstrong reportou que a Coinbase reduziu os gastos com IA em quase metade através da otimização de encaminhamento e melhorias de cache, enquanto a utilização de tokens continua a crescer exponencialmente. Esta implementação reflete uma tendência mais ampla entre empresas tecnológicas dos EUA que integram silenciosamente modelos de IA open-source chineses na infraestrutura de produção para reduzir custos e escalar aplicações.

Coinbase Implementa Infraestrutura de Três Camadas para Reduzir Custos de IA

Armstrong atribuiu a redução de custos a uma remodelação da infraestrutura em três camadas. A primeira camada é o "encaminhamento inteligente", onde o sistema pré-processa os prompts e atribui automaticamente as tarefas ao modelo mais adequado e económico com base nas taxas de acerto de cache e nos preços dos modelos. A segunda camada é a "cache agressiva", que aumentou a taxa de acerto de cache do LibreChat de 5% para 60%, exigindo que todos os pedidos estejam cientes da cache. A terceira camada é o "contexto simplificado", que recomenda abrir novas sessões ao mudar de tarefa e restringir o âmbito dos ficheiros para reduzir tokens desperdiçados.

Armstrong enfatizou que a abordagem não se trata de suprimir a utilização, mas sim de escalar a adoção da IA. Descreveu o método como chave para alcançar uma expansão sustentável do uso da IA, afirmando que qualquer empresa pode adotar este modelo para permitir que os engenheiros usem livremente qualquer quantidade de tokens e modelos sem definir um limite de custos, ao mesmo tempo que liga a utilização ao impacto nos negócios.

Modelos Open-Source Chineses Lidam com Tarefas Rotineiras numa Estratégia Multi-Modelo

Os dois modelos open-source chineses são implementados principalmente para cenários de tarefas rotineiras. Para tarefas que requerem planeamento complexo, os engenheiros ainda podem selecionar modelos de fronteira. No processo de revisão de código, a Coinbase emprega uma estratégia paralela multi-modelo, permitindo que diferentes modelos verifiquem cruzadamente os resultados de saída para manter os padrões de qualidade.

Armstrong observou que, à medida que os custos dos serviços dos principais modelos dos EUA continuam a subir, as vantagens de custo-benefício dos modelos open-source chineses estão gradualmente a alterar as estratégias de implementação de IA das empresas tecnológicas globais.

FAQ

O que anunciou a Coinbase na passada sexta-feira (26) em relação aos modelos de IA?
O CEO da Coinbase, Brian Armstrong, anunciou que a empresa definiu os modelos chineses de IA open-source GLM 5.2 e Kimi 2.7 como modelos de linguagem de grande escala predefinidos para os engenheiros internos. Armstrong afirmou que esta alteração, combinada com a otimização de encaminhamento e melhorias de cache, reduziu os gastos com IA em quase metade, enquanto a utilização de tokens mantém um crescimento exponencial.

Como é que a Coinbase utiliza modelos de IA chineses nas suas operações?
A Coinbase implementa os GLM 5.2 e Kimi 2.7 principalmente para cenários de tarefas rotineiras, enquanto os engenheiros ainda podem selecionar modelos de fronteira para tarefas que requerem planeamento complexo. Na revisão de código, a empresa utiliza uma estratégia paralela multi-modelo, onde diferentes modelos verificam cruzadamente os resultados de saída para manter os padrões de qualidade.