Sakana AI 和 Nvidia 已開源 TwELL，這是一種稀疏資料格式，可讓 H100 GPU 在大型語言模型中跳過 80% 的無效運算，同時不犧牲準確性。該解決方案在 H100 上可提供最高 30% 更快的推論速度，以及 24% 更快的訓練速度，同時降低峰值記憶體使用量。在 1.5 十億參數模型的測試中，透過訓練期間使用輕量化正則化，該方法將作用中的神經元降至低於 2%，且在七項下游任務中沒有出現效能退化。
免責聲明：本頁面資訊可能來自第三方來源，僅供參考，不代表 Gate 的立場或觀點，亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險，請勿僅依賴本頁資訊作出決策。詳情請參閱
免責聲明。
