Sakana AI dan Nvidia telah merilis TwELL sebagai open-source, format data yang jarang (sparse) yang memungkinkan GPU H100 melewati 80% komputasi yang tidak valid pada model bahasa besar tanpa mengorbankan akurasi. Solusi ini memberikan inferensi hingga 30% lebih cepat dan pelatihan 24% lebih cepat di H100, sekaligus mengurangi penggunaan memori puncak. Dalam pengujian pada model berparameter 1,5 miliar, pendekatan ini menurunkan neuron aktif menjadi di bawah 2% melalui regularisasi ringan selama

Menurut Tilde Research, pengoptimal Muon yang diadopsi oleh model AI terkemuka termasuk DeepSeek V4 dan Kimi K2.5 memiliki cacat tersembunyi: ia menyebabkan lebih dari 25% neuron pada lapisan MLP mati secara permanen selama pelatihan awal. Tim merancang Aurora, pengoptimal alternatif, dan memublikasikannya secara open-source. Model berparameter 1,1 miliar yang dilatih hanya dengan 100 miliar token menyamai kinerja Qwen3-1,7 miliar yang dilatih dengan 36 triliun token pada tolok ukur pemahaman ba

Menurut BlockBeats, pada 3 Mei peneliti AI Brian Roemmele mengungkapkan bahwa Zero-Human Company miliknya telah menerapkan teknologi DPN-LE (Dual Personality Neuron Localization and Editing) untuk menyesuaikan dengan tepat