Meskipun permintaan GPU tinggi, mereka masih memerlukan chip memori berkinerja tinggi untuk aplikasi AI. Pasar sedang ketat untuk keduanya — untuk saat ini.
Ketika adopsi kecerdasan buatan generatif (genAI) terus meningkat, infrastruktur untuk mendukung pertumbuhan tersebut saat ini mengalami hambatan pasokan dan permintaan.
Enam puluh enam persen perusahaan di seluruh dunia mengatakan mereka akan berinvestasi pada genAI selama 18 bulan ke depan, menurut penelitian IDC . Di antara organisasi-organisasi yang mengindikasikan genAI akan mengalami peningkatan belanja TI pada tahun 2024, infrastruktur akan menyumbang 46% dari total belanja. Masalahnya: perangkat keras penting yang diperlukan untuk membangun infrastruktur AI terbatas.
Kecepatan adopsi AI yang sangat tinggi selama dua tahun terakhir telah membebani kemampuan industri untuk memasok chip khusus berperforma tinggi yang diperlukan untuk menjalankan operasi genAI dan AI yang intensif proses secara umum. Sebagian besar fokus pada kekurangan prosesor adalah meningkatnya permintaan akan GPU Nvidia dan alternatif dari berbagai perancang chip seperti AMD, Intel, dan operator pusat data skala besar, menurut Benjamin Lee, seorang profesor di Departemen Ilmu Komputer dan Informasi di Universitas Pennsylvania.
“Perhatian yang terfokus pada lonjakan permintaan chip memori bandwidth tinggi, yang dibuat di pabrik pengecoran logam berbasis di Korea yang dijalankan oleh SK Hynix, jauh lebih sedikit,” kata Lee.
Pekan lalu, SK Hynix mengatakan produk memori bandwidth tinggi (HBM), yang diperlukan bersama dengan GPU berperforma tinggi untuk menangani kebutuhan pemrosesan AI, hampir seluruhnya dipesan hingga tahun 2025 karena tingginya permintaan. Harga HBM juga baru-baru ini meningkat sebesar 5% hingga 10%, didorong oleh harga premium yang signifikan dan peningkatan kebutuhan kapasitas untuk chip AI, menurut firma riset pasar TrendForce.
Chip HBM diperkirakan akan menyumbang lebih dari 20% total nilai pasar DRAM mulai tahun 2024, dan berpotensi melebihi 30% pada tahun 2025, menurut Wakil Presiden Riset Senior TrendForce Avril Wu. “Tidak semua pemasok besar telah lulus kualifikasi pelanggan untuk [HBM berkinerja tinggi], sehingga pembeli menerima harga yang lebih tinggi untuk mendapatkan pasokan yang stabil dan berkualitas,” kata Wu dalam laporan penelitiannya .
Mengapa GPU memerlukan memori bandwidth tinggi
Tanpa chip HBM, sistem memori server pusat data tidak akan mampu mengimbangi prosesor berkinerja tinggi, seperti GPU, menurut Lee. HBM adalah apa yang memasok GPU dengan data yang mereka proses. “Siapa pun yang membeli GPU untuk komputasi AI juga memerlukan memori bandwidth tinggi,” kata Lee.
“Dengan kata lain, GPU berperforma tinggi akan kurang dimanfaatkan dan sering kali tidak digunakan menunggu transfer data. Ringkasnya, tingginya permintaan chip memori SK Hynix disebabkan oleh tingginya permintaan akan chip GPU Nvidia dan, pada tingkat lebih rendah, terkait dengan permintaan chip AI alternatif seperti dari AMD, Intel, dan lainnya,” ujarnya.
“HBM relatif baru dan mendapatkan momentum yang kuat karena apa yang ditawarkan HBM – bandwidth dan kapasitas yang lebih besar,” kata analis Gartner, Gaurav Gupta. “Beda dengan yang dijual Nvidia dan Intel. Selain SK Hynix, situasi HBM serupa dengan pemain memori lainnya. Untuk Nvidia, saya yakin ada kendala, tetapi lebih terkait dengan kapasitas pengemasan chip mereka dengan pabrik pengecoran.”
Ketika SK Hynix mencapai batas pasokannya, Samsung dan Micron meningkatkan produksi HBM dan seharusnya mampu mendukung permintaan karena pasar menjadi lebih terdistribusi, menurut Lee.
Kekurangan HBM saat ini terutama terjadi pada kemasan dari TSMC (yaitu chip-on-wafer-on-substrate atau CoWoS), yang merupakan pemasok eksklusif teknologi tersebut. Menurut Lee, TSMC meningkatkan kapasitas SOIC lebih dari dua kali lipat dan meningkatkan kapasitas CoWoS lebih dari 60%. “Saya perkirakan kekurangan ini akan berkurang pada akhir tahun ini,” katanya.
Pada saat yang sama, semakin banyak pemasok pengemasan dan pengecoran online dan memenuhi syarat teknologi mereka untuk mendukung NVIDIA, AMD, Broadcom, Amazon, dan lainnya menggunakan teknologi pengemasan chip TSMC, menurut Lee.
Nvidia , yang produksinya mewakili sekitar 70% pasokan global chip server AI , diperkirakan menghasilkan pendapatan $40 miliar dari penjualan GPU tahun ini, menurut analis Bloomberg . Sebagai perbandingan, pesaing Intel dan AMD masing-masing diperkirakan menghasilkan $500 juta dan $3,5 miliar. Namun ketiganya meningkatkan produksi secepat mungkin.
Nvidia mengatasi kekurangan pasokan GPU dengan meningkatkan kapasitas produksi CoWoS dan HBM, menurut TrendForce. “Pendekatan proaktif ini diharapkan dapat memangkas setengah waktu pengiriman rata-rata saat ini yaitu 40 minggu pada kuartal kedua [tahun 2024], karena kapasitas baru mulai tersedia,” kata laporan TrendForce dalam laporannya. “Ekspansi ini bertujuan untuk mengurangi hambatan rantai pasokan yang menghambat ketersediaan server AI karena kekurangan GPU.”
Shane Rau, wakil presiden riset IDC untuk semikonduktor komputasi, mengatakan meskipun permintaan akan kapasitas chip AI sangat tinggi, pasar sedang beradaptasi. “Dalam kasus GPU kelas server, mereka meningkatkan pasokan wafer, kemasan, dan memori. Peningkatan pasokan adalah kuncinya karena, berkat kinerja dan kemampuan programnya, GPU kelas server akan tetap menjadi platform pilihan untuk pelatihan dan menjalankan model AI besar.”
Para pembuat chip berebut memenuhi permintaan AI
Pengeluaran global untuk chip yang berfokus pada AI diperkirakan mencapai $53 miliar pada tahun ini – dan meningkat lebih dari dua kali lipat dalam empat tahun ke depan, menurut Gartner Research . Jadi, tidak mengherankan jika para pembuat chip meluncurkan prosesor baru secepat mungkin.
Intel telah mengumumkan rencananya untuk membuat chip yang ditujukan untuk mendukung fungsi AI dengan prosesor Gaudi 3, dan mengatakan bahwa prosesor Xeon 6, yang dapat menjalankan proses pengambilan augmented generasi (RAG), juga akan menjadi kuncinya. GPU Gaudi 3 dibuat khusus untuk melatih dan menjalankan model bahasa besar (LLM) besar yang mendukung genAI di pusat data.
Sementara itu, AMD dalam laporan pendapatan terbarunya, memuji GPU MI300 untuk beban kerja pusat data AI, yang juga memiliki daya tarik pasar yang baik, menurut Wakil Presiden Grup IDC Mario Morales, menambahkan bahwa perusahaan riset tersebut melacak lebih dari 80 vendor semikonduktor yang mengembangkan chip khusus. untuk AI.
Di sisi perangkat lunak, pembuat LLM juga mengembangkan model yang lebih kecil yang disesuaikan untuk tugas tertentu ; algoritma ini memerlukan sumber daya pemrosesan yang lebih sedikit dan bergantung pada data milik lokal — tidak seperti algoritma amorf masif yang memiliki ratusan miliar atau bahkan lebih dari satu triliun parameter.
Strategi Intel ke depannya serupa: Intel ingin mengaktifkan genAI di setiap jenis perangkat komputasi, mulai dari laptop hingga ponsel pintar. Prosesor Intel Xeon 6 akan menyertakan beberapa versi dengan unit pemrosesan saraf onboard (NPU atau “akselerator AI”) untuk digunakan di stasiun kerja, PC, dan perangkat edge. Intel juga mengklaim prosesor Xeon 6-nya akan cukup baik untuk menjalankan LLM yang lebih kecil dan lebih terkustomisasi.
Meski begitu, tanpa HBM, prosesor tersebut kemungkinan akan kesulitan memenuhi tuntutan kinerja tinggi genAI.
