NVIDIAとMITがLightning OPDフレームワークを公開し、GPUメモリ問題を解消しながらモデル蒸留効率を4倍に向上

報道によると、NVIDIAとMITの研究者はLightning OPD（Offline On-Policy Distillation）をリリースした。これは、大規模言語モデル向けの新しいポストトレーニングの枠組みであり、学習中に教師モデルを常に稼働させ続ける必要をなくす。教師モデルの対数確率を事前にオフラインで計算しておくことで、この枠組みは学習効率を4倍に向上させ、同時にGPUリソースをすべて学生モデルの学習に割り当てられるようにする。

8基のNVIDIA H100 GPUでのテストでは、Lightning OPDはQwen3-30B-A3B-Base（パラメータ300億のMoEモデル）を正常に蒸留し、AIME 2024ベンチマークで71.0を達成した。これに対し、標準のOPDは同じハードウェア上でメモリ不足になった。より小型のQwen3-8Bモデルでは、この枠組みに69.9ポイントに到達するためのGPU時間としてわずか30時間しか必要としなかった。