Andrej Karpathyがオープンソースのautoresearchプロジェクトを立ち上げ、AIによる自動で100回のLLMトレーニング実験を実行

Gate Newsの報道によると、3月9日、Eureka Labsの創設者でありOpenAIの共同創設者であるAndrej Karpathyは、昨日(3月8日)にオープンソースプロジェクト「autoresearch」を公開しました。このプロジェクトは、以前のLLM訓練プロジェクト「nanochat」上でのAIエージェントの自動調整ワークフローを独立してパッケージ化したもので、開発者が利用できるようになっています。

このプロジェクトは「人がMarkdownを書き、AIがコードを書く」という設計パターンを採用しています。開発者は「program.md」ファイルに研究方向を定義し、AIエージェントはGPTモデル、Muon + AdamW最適化器、訓練ループを含む「train.py」コード(約630行)を自主的に修正します。各実験は固定で5分間実行され、検証セットのバイトあたりビット数(val_bpb)が唯一の評価指標です。基準を上回る改善は採用され、提出されます。そうでなければ破棄されます。

このペースで、1時間に約12回の実験を行うことができ、一晩で約100回の実験を完了できます。Karpathyが示した例では、83回の実験のうち15回に有効な改善が得られました。

このプロジェクトは、NVIDIAのH100上でテスト済みの1つのGPUだけで動作し、PyTorchと少量のソフトウェアパッケージに依存しています。MITライセンスの下でオープンソース化されています。現在、コミュニティにはmacOSやMLX向けの適応ブランチも登場しています。

免責事項:本ページの情報には第三者提供の内容が含まれる場合があり、参考目的のみで提供されています。これらはGateの見解や意見を示すものではなく、金融、投資、または法律上の助言を構成するものでもありません。暗号資産取引には高いリスクが伴います。意思決定を行う際には、本ページの情報のみに依存しないでください。詳細については、免責事項をご確認ください。
コメント
0/400
コメントなし