Tilde Researchによると、DeepSeek V4やKimi K2.5を含む主要なAIモデルが採用しているMuonオプティマイザには隠れた欠陥があります。それは、初期トレーニングの間にMLP層のニューロンのうち25%以上が永久に死んでしまうことを引き起こすというものです。チームは代替オプティマイザであるAuroraを設計し、オープンソース化しました。1.1Bパラメータのモデルは、わずか100Bトークンだけで学習し、HellaSwagやWinograndeのような言語理解ベンチマークにおいて、36Tトークンで学習したQwen3-1.7Bと同等の性能を達成し、データ効率が約100倍向上したことを示しています。AuroraはMuonと比べて計算オーバーヘッドが6%増えるだけで、直接の置き換えとして利用できます。

ゲートニュース 連絡、4月6日、BTC Digital はカナダのエネルギー企業 Aurora Energy と共同開発および運営契約を締結しました。両者は、Aurora Energy の天然ガス資源の強みと BTC Digital の計算基盤の運用経験を組み合わせ、共同で高性能計算施設を構築します。当該施設の初期段階ではビットコインのマイニングを支援し、将来的には人工知能の計算、データセンターの計算、その他の高性能計算アプリケーションシナリオへ拡張する計画です。