CoinbaseのCEOであるBrian Armstrong氏は先週金曜日（26日）、同暗号資産取引所が中国のオープンソースAIモデルであるGLM 5.2とKimi 2.7を、社内エンジニア向けのデフォルト大規模言語モデルに設定したと発表した。Armstrong氏は、ルーティング最適化とキャッシュ改善により、CoinbaseがAI支出をほぼ半減させた一方、トークン使用量は指数関数的成長を続けていると報告した。この展開は、米国のテクノロジー企業がコスト削減とアプリケーションのスケーリングのために、中国のオープンソースAIモデルを本番インフラに静かに統合するという広範なトレンドを反映している。
Coinbase、3層インフラでAIコスト削減を実現
Armstrong氏は、コスト削減を3層のインフラ再構築に起因するものとした。第1層は「スマートルーティング」で、システムがプロンプトを前処理し、キャッシュヒット率とモデル価格に基づいて、最も適切かつ経済的なモデルに自動的にタスクを割り当てる。第2層は「アグレッシブキャッシング」で、すべてのリクエストをキャッシュ認識型にすることで、LibreChatのキャッシュヒット率を5%から60%に引き上げた。第3層は「合理化されたコンテキスト」で、タスク切り替え時に新しいセッションを開き、ファイル範囲を狭めることで、無駄なトークンを削減することを推奨する。
Armstrong氏は、このアプローチは使用量を抑制することではなく、AI導入を拡大することにあると強調した。同氏は、この方法をAI使用の持続可能な拡大を達成する鍵と述べ、あらゆる企業がこのモデルを採用することで、エンジニアがコスト上限を設定することなく自由に任意の量のトークンやモデルを使用でき、使用量とビジネスインパクトを結びつけることができると述べた。
中国のオープンソースモデル、マルチモデル戦略で日常業務を処理
2つの中国のオープンソースモデルは、主に日常的なタスクシナリオに導入されている。複雑な計画を必要とするタスクには、エンジニアは依然として最先端モデルを選択できる。コードレビュープロセスでは、Coinbaseはマルチモデル並列戦略を採用し、異なるモデルが出力結果を相互検証して品質基準を維持している。
Armstrong氏は、トップクラスの米国モデルサービスのコストが上昇し続ける中、中国のオープンソースモデルの費用対効果の利点が、世界中のテクノロジー企業のAI導入戦略を徐々に変えつつあると指摘した。
FAQ
Coinbaseは先週金曜日（26日）、AIモデルに関して何を発表しましたか？
CoinbaseのCEOであるBrian Armstrong氏は、同社が中国のオープンソースAIモデルであるGLM 5.2とKimi 2.7を、社内エンジニア向けのデフォルト大規模言語モデルに設定したと発表しました。Armstrong氏は、この変更にルーティング最適化とキャッシュ改善を組み合わせることで、AI支出をほぼ半減させた一方、トークン使用量は指数関数的成長を維持していると述べました。
Coinbaseは事業運営において中国のAIモデルをどのように利用していますか？
CoinbaseはGLM 5.2とKimi 2.7を主に日常的なタスクシナリオに導入しており、複雑な計画を必要とするタスクにはエンジニアが最先端モデルを選択できます。コードレビューでは、同社はマルチモデル並列戦略を採用し、異なるモデルが出力結果を相互検証して品質基準を維持しています。
