Lomba chip AI selama dua tahun terakhir hampir semuanya berpusat pada HBM, tetapi seiring penerapan AI bergeser dari pelatihan model ke inferensi berskala besar, bottleneck pasokan berikutnya mungkin tidak lagi hanya HBM, melainkan HBF (High Bandwidth Flash, memori flash berkecepatan tinggi berbandwidth besar). Pemenang Penghargaan Turing, profesor UC Berkeley David Patterson, pada 30 April di San Francisco, Amerika Serikat, mengatakan bahwa ia menganggap HBF kemungkinan besar akan menjadi kunci teknologi memori yang mampu mendorong kebutuhan yang naik tajam berikutnya, bahkan membentuk bottleneck baru.
( Apa perubahan pada Nvidia Vera Rubin? Mengurai era perang memori: SK Hynix, Samsung, Micron, SanDisk)
Mengapa Pemenang Penghargaan Turing David Patterson yakin pada HBF
Pembahasan memori AI hampir semuanya berpusat pada HBM (High Bandwidth Memory), tetapi seiring penerapan AI bergeser dari pelatihan model ke inferensi berskala besar, bottleneck pasokan berikutnya mungkin tidak lagi hanya HBM, melainkan HBF (High Bandwidth Flash, memori flash berbandwidth besar).
Patterson adalah figur kelas berat di bidang ilmu komputer, dan dipandang sebagai salah satu perancang penting arsitektur RISC. Saat membahas tahap berikutnya setelah HBM, ia menegaskan bahwa meskipun HBF masih menghadapi banyak tantangan teknis yang perlu diselesaikan, HBF yang didorong perusahaan seperti SK Hynix dan SanDisk memiliki karakteristik “menyediakan kapasitas besar dengan konsumsi daya yang lebih rendah”. Ke depan, variabel inti sistem AI bukan lagi sekadar komputasi, melainkan apakah data dapat disimpan, dijadwalkan, dan disuplai secara efektif.
Apa itu HBF? Menumpuk NAND Flash, bukan untuk menggantikan HBM, melainkan pembagian tugas
Perbedaan terbesar antara HBF dan HBM ada pada material memori yang digunakan. HBM adalah menumpuk DRAM secara vertikal untuk menyediakan kemampuan akses data berbandwidth tinggi yang dibutuhkan GPU dan akselerator AI, dan terutama bertugas “memberi data dengan cepat ke unit komputasi”. HBF, sebaliknya, menumpuk memori non-volatil NAND Flash; keunggulan utamanya bukan kecepatan ekstrem, melainkan memberikan kapasitas data yang lebih besar dengan biaya dan konsumsi daya yang lebih rendah.
Dengan kata lain, HBM menyelesaikan masalah “kecepatan” dalam proses komputasi AI, sedangkan HBF menyelesaikan masalah “kapasitas” yang terus membesar pada sistem AI. Inilah mengapa HBF bukan sekadar pengganti HBM, melainkan membentuk pembagian kerja memori baru bersama HBM. HBM bertanggung jawab untuk pertukaran data yang instan dan berkecepatan tinggi; HBF menanggung kebutuhan penyimpanan data skala besar seperti data perantara, data konteks, serta kebutuhan memanggil data berulang dalam proses inferensi.
Pasar inferensi AI membesar, membuat kebutuhan HBF makin muncul ke permukaan
HBF mengapa mendapat perhatian lebih besar pada 2026, kuncinya adalah pusat gravitasi pasar AI bergeser dari pelatihan menuju inferensi secara bertahap. Pelatihan AI adalah memberi model sejumlah besar data agar model mempelajari parameter dan pola; inferensi AI adalah proses ketika model yang sudah dilatih benar-benar menghasilkan jawaban berdasarkan masukan pengguna, menjalankan tugas, mengingat konteks sebelumnya, dan terus membuat penilaian.
Dalam skenario inferensi, AI tidak hanya menjawab sekali, tetapi perlu mempertahankan percakapan sebelumnya, konteks kerja, hasil penilaian, catatan pemanggilan alat, bahkan data perantara lintas tugas. Volume data ini sangat besar, dan perlu dibaca serta diperbarui berulang kali.
Masalahnya, jika semua data tersebut dimasukkan ke HBM, biayanya terlalu tinggi dan kapasitasnya tidak realistis. HBM cocok untuk memproses data berkecepatan tinggi yang langsung dibutuhkan, tetapi tidak cocok menanggung semua data konteks dan status perantara yang dihasilkan selama proses inferensi. Setelah AI Agent, model konteks panjang, inferensi multimodal, dan alur kerja AI tingkat perusahaan menjadi umum, kebutuhan sistem tidak hanya memerlukan memori yang lebih cepat, tetapi juga kolam data berkecepatan tinggi yang lebih besar. Inilah alasan utama mengapa HBF dinilai bakal diminati.
SK Hynix dan SNDK mendorong standarisasi, kebutuhan HBF pada 2038 mungkin melampaui HBM
Untuk mengejar bandwidth, SK Hynix dan SanDisk bekerja sama mengembangkan HBF. Ini adalah teknologi penumpukan 3D yang mirip dengan HBM, tetapi menggunakan wafer NAND, dengan tujuan menyediakan throughput beberapa kali lebih cepat dibanding SSD tradisional, khusus untuk inferensi AI.
Profesor Departemen Teknik Elektro dan Teknik Elektronik KAIST Korea, Kim Jong-ho, juga pernah menyebutkan dalam pemaparan teknologi HBF pada bulan Februari bahwa inti dari era PC adalah CPU, inti era smartphone adalah efisiensi daya rendah, sedangkan inti era AI adalah memori. Ia membagi peran HBM dan HBF dengan sangat jelas: penentu kecepatan adalah HBM, penentu kapasitas adalah HBF. Kim Jong-ho juga memperkirakan bahwa mulai 2038, kebutuhan HBF mungkin melampaui HBM.
Logika di balik penilaian ini adalah bahwa ketika pasar inferensi AI makin besar, konteks instan yang perlu diproses model, data historis, dan status tugas akan makin besar pula. Jika hanya mengandalkan perluasan HBM, selain biayanya mahal, konsumsi daya dan tekanan kemasan sistem secara keseluruhan akan terus meningkat. Jika HBF dapat mencapai terobosan dalam bandwidth, kemasan, daya tahan, dan standarisasi, maka ia berpotensi menjadi lapisan memori kunci generasi berikutnya untuk pusat data AI.
Dari HBM ke HBF, kompetisi AI bergeser dari “menghitung lebih cepat” menjadi “bisa ingat dan bisa diatur”
Dalam beberapa waktu terakhir, saat pasar membahas semikonduktor AI, fokusnya banyak pada GPU, proses manufaktur mutakhir, dan pasokan HBM. Terutama setelah lonjakan tajam permintaan server AI Nvidia, HBM sempat menjadi indikator utama untuk menilai daya saing produsen memori seperti SK Hynix, Samsung, dan Micron. Namun pernyataan Patterson mengingatkan pasar bahwa bottleneck infrastruktur AI makin menjadi lebih kompleks.
Ketika AI masih berada pada tahap kompetisi pelatihan model besar, fokusnya adalah memberi makan GPU dengan memori berbandwidth lebih tinggi. Tetapi ketika AI memasuki tahap inferensi berskala besar dan penerapan Agent, pertanyaannya berubah: bagaimana model mempertahankan konteks dalam waktu lama? bagaimana menyimpan status tugas dengan biaya rendah? bagaimana membuat data mengalir lebih efisien antara GPU, HBM, SSD, Flash, dan penyimpanan jaringan?
Karena itu, kompetisi memori AI tahap berikutnya mungkin tidak lagi sekadar perebutan kapasitas produksi HBM, melainkan reorganisasi seluruh lapisan memori. HBM tetap penting karena ia menentukan apakah chip AI bisa melakukan komputasi berkecepatan tinggi; tetapi kemunculan HBF berarti sistem AI mulai membutuhkan lapisan data baru yang berada di antara penyimpanan tradisional dan memori berbandwidth tinggi. Ia mungkin tidak yang tercepat, namun bisa menemukan keseimbangan baru antara kapasitas, konsumsi daya, dan biaya.
Ini juga berarti, kata kunci berikutnya dalam rantai pasok AI mungkin bergeser dari “memori berbandwidth tinggi” ke “memori flash berbandwidth tinggi”. HBM menyelesaikan bottleneck komputasi instan AI, sementara HBF kemungkinan menyelesaikan bottleneck penyimpanan data yang lebih besar pada era inferensi.
Apakah artikel ini HBF adalah bottleneck memori AI setelah HBM? Pemenang Penghargaan Turing David Patterson: inferensi akan mendefinisikan ulang arsitektur penyimpanan Pertama kali muncul di Berita Rantai ABMedia.
