Coinbase adopta los modelos de IA chinos GLM 5.2 y Kimi 2.7 como predeterminados para ingenieros

El CEO de Coinbase, Brian Armstrong, declaró el viernes pasado (26) que el exchange de criptomonedas ha establecido los modelos chinos de IA de código abierto GLM 5.2 y Kimi 2.7 como los modelos de lenguaje grandes predeterminados para sus ingenieros internos. Armstrong informó que Coinbase redujo el gasto en IA casi a la mitad mediante la optimización del enrutamiento y mejoras en el almacenamiento en caché, mientras que el uso de tokens continúa con un crecimiento exponencial. Esta implementación refleja una tendencia más amplia entre las empresas tecnológicas estadounidenses que integran silenciosamente modelos chinos de IA de código abierto en su infraestructura de producción para reducir costos y escalar aplicaciones.

Coinbase implementa una infraestructura de tres capas para reducir costos de IA

Armstrong atribuyó la reducción de costos a una reestructuración de la infraestructura en tres capas. La primera capa es el "enrutamiento inteligente", donde el sistema preprocesa las indicaciones y asigna automáticamente las tareas al modelo más adecuado y económico según las tasas de acierto de caché y los precios del modelo. La segunda capa es el "almacenamiento en caché agresivo", que aumentó la tasa de acierto de caché de LibreChat del 5% al 60% al exigir que todas las solicitudes sean conscientes del caché. La tercera capa es el "contexto optimizado", que recomienda abrir nuevas sesiones al cambiar de tarea y reducir el alcance de los archivos para minimizar los tokens desperdiciados.

Armstrong enfatizó que el enfoque no consiste en suprimir el uso, sino en escalar la adopción de la IA. Describió el método como clave para lograr una expansión sostenible del uso de la IA, afirmando que cualquier empresa puede adoptar este modelo para permitir que los ingenieros usen libremente cualquier cantidad de tokens y modelos sin establecer un límite de costos, al mismo tiempo que vincula el uso con el impacto empresarial.

Los modelos chinos de código abierto manejan tareas rutinarias en una estrategia multi-modelo

Los dos modelos chinos de código abierto se implementan principalmente para escenarios de tareas rutinarias. Para tareas que requieren planificación compleja, los ingenieros aún pueden seleccionar modelos de vanguardia. En el proceso de revisión de código, Coinbase emplea una estrategia paralela multi-modelo, permitiendo que diferentes modelos verifiquen de forma cruzada los resultados de salida para mantener los estándares de calidad.

Armstrong señaló que, a medida que los costos de los servicios de los principales modelos estadounidenses continúan aumentando, las ventajas de rentabilidad de los modelos chinos de código abierto están cambiando gradualmente las estrategias de implementación de IA de las empresas tecnológicas globales.

FAQ

¿Qué anunció Coinbase el viernes pasado (26) con respecto a los modelos de IA?
El CEO de Coinbase, Brian Armstrong, anunció que la compañía estableció los modelos chinos de IA de código abierto GLM 5.2 y Kimi 2.7 como los modelos de lenguaje grandes predeterminados para los ingenieros internos. Armstrong declaró que este cambio, combinado con la optimización del enrutamiento y mejoras en el almacenamiento en caché, redujo el gasto en IA casi a la mitad, mientras que el uso de tokens mantiene un crecimiento exponencial.

¿Cómo utiliza Coinbase los modelos chinos de IA en sus operaciones?
Coinbase implementa GLM 5.2 y Kimi 2.7 principalmente para escenarios de tareas rutinarias, mientras que los ingenieros aún pueden seleccionar modelos de vanguardia para tareas que requieren planificación compleja. En la revisión de código, la empresa utiliza una estrategia paralela multi-modelo donde diferentes modelos verifican de forma cruzada los resultados de salida para mantener los estándares de calidad.