Coinbase sử dụng các mô hình AI Trung Quốc GLM 5.2 và Kimi 2.7 làm mặc định cho kỹ sư

Giám đốc điều hành Coinbase Brian Armstrong đã tuyên bố vào thứ Sáu tuần trước (ngày 26) rằng sàn giao dịch tiền mã hóa này đã đặt các mô hình AI nguồn mở của Trung Quốc là GLM 5.2 và Kimi 2.7 làm mô hình ngôn ngữ lớn mặc định cho các kỹ sư nội bộ. Armstrong báo cáo rằng Coinbase đã cắt giảm chi tiêu AI gần một nửa thông qua tối ưu hóa định tuyến và cải thiện bộ nhớ đệm, trong khi việc sử dụng token vẫn tiếp tục tăng trưởng theo cấp số nhân. Việc triển khai này phản ánh xu hướng rộng lớn hơn khi các công ty công nghệ Mỹ âm thầm tích hợp các mô hình AI nguồn mở của Trung Quốc vào cơ sở hạ tầng sản xuất để giảm chi phí và mở rộng quy mô ứng dụng.

Coinbase triển khai cơ sở hạ tầng ba lớp để cắt giảm chi phí AI

Armstrong cho rằng việc giảm chi phí là nhờ vào cuộc cải tổ cơ sở hạ tầng ba lớp. Lớp đầu tiên là "định tuyến thông minh", nơi hệ thống xử lý trước các lời nhắc và tự động phân công nhiệm vụ cho mô hình phù hợp và kinh tế nhất dựa trên tỷ lệ cache hit và giá mô hình. Lớp thứ hai là "bộ nhớ đệm mạnh mẽ", giúp tăng tỷ lệ cache hit của LibreChat từ 5% lên 60% bằng cách yêu cầu tất cả các yêu cầu phải nhận biết được cache. Lớp thứ ba là "ngữ cảnh tinh gọn", khuyến nghị mở phiên mới khi chuyển đổi tác vụ và thu hẹp phạm vi tệp để giảm lãng phí token.

Armstrong nhấn mạnh rằng cách tiếp cận này không phải là kìm hãm việc sử dụng mà là mở rộng việc áp dụng AI. Ông mô tả phương pháp này là chìa khóa để đạt được sự mở rộng bền vững của việc sử dụng AI, tuyên bố rằng bất kỳ doanh nghiệp nào cũng có thể áp dụng mô hình này để cho phép các kỹ sư sử dụng miễn phí bất kỳ số lượng token và mô hình nào mà không đặt ra giới hạn chi phí, đồng thời liên kết việc sử dụng với tác động kinh doanh.

Các mô hình nguồn mở Trung Quốc xử lý các tác vụ thường nhật trong chiến lược đa mô hình

Hai mô hình nguồn mở của Trung Quốc chủ yếu được triển khai cho các tình huống tác vụ thường nhật. Đối với các tác vụ yêu cầu lập kế hoạch phức tạp, các kỹ sư vẫn có thể chọn các mô hình tiên tiến. Trong quy trình đánh giá mã, Coinbase áp dụng chiến lược song song đa mô hình, cho phép các mô hình khác nhau xác minh chéo kết quả đầu ra để duy trì tiêu chuẩn chất lượng.

Armstrong lưu ý rằng khi chi phí cho các dịch vụ mô hình hàng đầu của Mỹ tiếp tục tăng cao, lợi thế về hiệu quả chi phí của các mô hình nguồn mở Trung Quốc đang dần thay đổi chiến lược triển khai AI của các công ty công nghệ toàn cầu.

FAQ

Coinbase đã công bố điều gì về các mô hình AI vào thứ Sáu tuần trước (ngày 26)?
Giám đốc điều hành Coinbase Brian Armstrong đã thông báo rằng công ty đã đặt các mô hình AI nguồn mở của Trung Quốc là GLM 5.2 và Kimi 2.7 làm mô hình ngôn ngữ lớn mặc định cho các kỹ sư nội bộ. Armstrong cho biết sự thay đổi này, kết hợp với tối ưu hóa định tuyến và cải thiện bộ nhớ đệm, đã giảm chi tiêu AI gần một nửa trong khi việc sử dụng token vẫn duy trì tốc độ tăng trưởng theo cấp số nhân.

Coinbase sử dụng các mô hình AI Trung Quốc như thế nào trong hoạt động của mình?
Coinbase triển khai GLM 5.2 và Kimi 2.7 chủ yếu cho các tình huống tác vụ thường nhật, trong khi các kỹ sư vẫn có thể chọn các mô hình tiên tiến cho các tác vụ yêu cầu lập kế hoạch phức tạp. Trong đánh giá mã, công ty sử dụng chiến lược song song đa mô hình, nơi các mô hình khác nhau xác minh chéo kết quả đầu ra để duy trì tiêu chuẩn chất lượng.