Perkembangan industri kecerdasan buatan baru-baru ini dipandang oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, diperkirakan meningkatkan efisiensi kerja di Amerika Serikat sekitar 20%. Sementara itu, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak baru, beralih dari kode yang tepat di masa lalu ke kerangka model besar yang lebih umum yang tertanam dalam perangkat lunak, yang dapat mendukung berbagai input dan output modal. Teknologi pembelajaran mendalam membawa kemakmuran keempat bagi industri AI, dan gelombang ini juga mempengaruhi industri cryptocurrency.
Laporan ini akan membahas secara mendalam sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak teknologi pembelajaran mendalam terhadap industri. Analisis mendalam mengenai kondisi dan tren perkembangan hulu dan hilir rantai industri seperti GPU, komputasi awan, sumber data, dan perangkat tepi dalam pembelajaran mendalam. Dan secara esensial membahas hubungan antara cryptocurrency dan industri AI, serta menyusun pola rantai industri AI yang terkait dengan cryptocurrency.
Sejarah Perkembangan Industri AI
Industri AI dimulai pada tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, dunia akademis dan industri telah mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan di berbagai era dan latar belakang disiplin yang berbeda.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", yang prinsipnya adalah membuat mesin bergantung pada data untuk berulang kali mengiterasi dalam tugas untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke algoritma untuk melatih model, menguji model yang diterapkan, dan menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu konektivisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia. Saat ini, konektivisme yang diwakili oleh jaringan saraf (juga dikenal sebagai pembelajaran mendalam) mendominasi, alasan utamanya adalah arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Ketika jumlah lapisan dan neuron (parameter) cukup banyak, ada cukup peluang untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat terus disesuaikan, setelah melalui banyak data, neuron tersebut akan mencapai kondisi optimal (parameter), inilah yang juga menjadi asal usul "kedalaman"—jumlah lapisan dan neuron yang cukup banyak.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga memiliki beberapa iterasi dan evolusi teknis, dari jaringan saraf paling awal, ke jaringan saraf feedforward, RNN, CNN, GAN, hingga akhirnya berevolusi menjadi model besar modern seperti teknologi Transformer yang digunakan oleh GPT dan lainnya. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah konverter untuk mengkodekan data dari semua moda (seperti audio, video, gambar, dll.) menjadi nilai-nilai yang sesuai untuk merepresentasikannya. Kemudian data ini dimasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat mencocokkan jenis data apa pun, yaitu merealisasikan multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi:
Gelombang pertama terjadi pada tahun 1960-an, sepuluh tahun setelah teknologi AI diusulkan, gelombang ini disebabkan oleh perkembangan teknologi simbolisme, yang menyelesaikan masalah pemrosesan bahasa alami yang umum dan dialog antara manusia dan mesin. Pada periode yang sama, sistem pakar lahir.
Gelombang kedua teknologi AI terjadi pada tahun 1997, IBM Deep Blue mengalahkan juara catur Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak dalam kecerdasan buatan.
Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raja deep learning, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengemukakan konsep deep learning, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk mempelajari representasi data. Setelah itu, algoritma deep learning secara bertahap berkembang, dari RNN, GAN hingga Transformer dan Stable Diffusion, algoritma-algoritma ini bersama-sama membentuk gelombang teknologi ketiga ini, serta merupakan masa kejayaan koneksionisme.
Rantai industri pembelajaran mendalam
Model bahasa besar saat ini semuanya menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dipimpin oleh GPT, model besar ini telah menciptakan gelombang antusiasme dalam kecerdasan buatan, dengan banyak pemain yang memasuki jalur ini, dan permintaan pasar terhadap data dan kekuatan komputasi melonjak. Bagian ini terutama mengeksplorasi rantai industri algoritma pembelajaran mendalam, komposisi hulu dan hilirnya, serta keadaan saat ini dan hubungan penawaran dan permintaan, serta perkembangan di masa depan.
Pelatihan LLM (model besar) yang dipimpin oleh GPT berbasis teknologi Transformer dibagi menjadi tiga langkah:
Langkah pertama, pra-pelatihan. Dengan memberikan cukup banyak pasangan data ke lapisan input untuk mencari parameter terbaik dari setiap neuron di bawah model ini, proses ini memerlukan banyak data dan juga merupakan proses yang paling menghabiskan daya komputasi.
Langkah kedua, fine-tuning. Berikan sekelompok data dengan jumlah kecil tetapi kualitas sangat tinggi untuk melatih, guna meningkatkan kualitas output model.
Langkah ketiga, pembelajaran penguatan. Membangun sebuah "model penghargaan" untuk menentukan apakah keluaran model besar berkualitas tinggi, digunakan untuk secara otomatis mengiterasi parameter model besar.
Singkatnya, dalam proses pelatihan model besar, pra-pelatihan membutuhkan jumlah data yang sangat tinggi dan membutuhkan daya komputasi GPU yang paling banyak; penyetelan memerlukan data berkualitas lebih tinggi untuk memperbaiki parameter; pembelajaran penguatan dapat mengulangi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.
Kinerja model besar terutama ditentukan oleh tiga aspek: jumlah parameter, jumlah dan kualitas data, serta daya komputasi. Ketiga faktor ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Misalkan jumlah parameter adalah p, jumlah data adalah n (dihitung dalam jumlah Token), maka melalui aturan empiris dapat dihitung jumlah komputasi yang diperlukan, sehingga dapat memperkirakan kebutuhan daya komputasi yang harus dibeli serta waktu pelatihan.
Kekuatan komputasi umumnya diukur dalam Flops sebagai satuan dasar, yang mewakili satu operasi floating-point. Menurut aturan praktis, pra-pelatihan satu model besar membutuhkan sekitar 6np Flops. Inferensi (proses menunggu model besar menghasilkan output dari data masukan) membutuhkan sekitar 2np Flops.
Penggunaan chip CPU untuk pelatihan awal memberikan dukungan daya komputasi, dan kemudian secara bertahap digantikan oleh GPU, seperti chip Nvidia A100, H100, dan lainnya. Karena GPU dapat berfungsi sebagai komputasi khusus, efisiensi konsumsi energinya jauh lebih baik dibandingkan CPU. GPU menjalankan operasi floating point terutama melalui modul Tensor Core. Data Flops pada presisi FP16/FP32 chip mewakili kemampuan komputasi utamanya, dan merupakan salah satu indikator utama dari chip.
Misalkan parameter model besar dengan contoh GPT3, memiliki 175 miliar parameter, 180 miliar Token data (sekitar 570GB), maka untuk melakukan satu pre-training diperlukan 6np Flops, sekitar 3,1510^22 Flops. Dalam satuan TFLOPS (Triliun FLOPs) sekitar 3,1510^10 TFLOPS, yang berarti satu chip model SXM memerlukan sekitar 584 hari untuk melakukan pre-training GPT3.
Dari sini dapat dilihat bahwa jumlah komputasi besar yang diperlukan untuk pre-training memerlukan banyak chip canggih untuk bekerja sama. Jumlah parameter GPT-4 adalah sepuluh kali lipat dari GPT-3, yang berarti bahkan jika jumlah data tidak berubah, jumlah chip yang harus dibeli juga harus sepuluh kali lebih banyak. Jumlah token GPT-4 adalah 13 triliun, juga sepuluh kali lipat dari GPT-3, pada akhirnya GPT-4 mungkin memerlukan lebih dari 100 kali lipat kekuatan komputasi chip.
Dalam pelatihan model besar, penyimpanan data juga menjadi masalah. Ruang memori GPU umumnya lebih kecil (seperti A100 yang memiliki 80GB), sehingga tidak dapat menampung semua data, oleh karena itu perlu mempertimbangkan bandwidth chip, yaitu kecepatan transfer data dari hard disk ke memori. Sementara itu, karena penggunaan beberapa chip GPU, juga melibatkan kecepatan transfer antar GPU. Jadi, seringkali, faktor atau biaya yang membatasi praktik pelatihan model bukanlah kemampuan komputasi chip, tetapi lebih sering mungkin adalah bandwidth chip. Karena transfer data yang lambat dapat menyebabkan waktu menjalankan model menjadi lebih lama, maka biaya listrik akan meningkat.
Rantai industri pembelajaran mendalam terutama terdiri dari beberapa bagian berikut:
Penyedia GPU perangkat keras
Penyedia Layanan Cloud
Penyedia Sumber Data Pelatihan
Penyedia basis data
Perangkat tepi
Aplikasi
Penyedia GPU Hardware
Saat ini Nvidia berada di posisi terdepan yang absolut di bidang chip GPU AI. Dunia akademis terutama menggunakan GPU kelas konsumen (seri RTX); industri utama menggunakan H100, A100, dan lain-lain untuk penerapan komersial model besar.
Pada tahun 2023, chip H100 terbaru dari Nvidia segera mendapatkan langganan dari beberapa perusahaan setelah diluncurkan. Permintaan global untuk chip H100 jauh melebihi pasokan, dengan siklus pengirimannya telah mencapai 52 minggu. Mengingat situasi monopoli Nvidia, Google memimpin bersama Intel, Qualcomm, Microsoft, dan Amazon membentuk Aliansi CUDA, berharap dapat bersama-sama mengembangkan GPU untuk mengurangi pengaruh Nvidia.
Untuk perusahaan teknologi super besar/penyedia layanan cloud/laboratorium tingkat nasional, mereka sering membeli ribuan hingga puluhan ribu chip H100 untuk membangun HPC (pusat komputasi berkinerja tinggi). Hingga akhir 2023, jumlah pesanan chip H100 telah melebihi 500.000 unit.
Dalam hal pasokan chip Nvidia, informasi tentang H200 telah dirilis, diharapkan kinerja H200 adalah dua kali lipat dari kinerja H100, sementara B100 akan diluncurkan pada akhir 2024 atau awal 2025. Saat ini, perkembangan GPU masih memenuhi hukum Moore, dengan kinerja yang meningkat dua kali lipat setiap 2 tahun, dan harga turun setengah.
Penyedia Layanan Cloud
Penyedia layanan cloud, setelah membeli cukup banyak GPU untuk membangun HPC, dapat menawarkan kekuatan komputasi yang fleksibel dan solusi pelatihan yang dikelola bagi perusahaan kecerdasan buatan dengan dana terbatas. Saat ini, pasar terutama dibagi menjadi tiga kategori penyedia kekuatan komputasi cloud:
Platform komputasi awan berskala besar yang diwakili oleh penyedia awan tradisional (AWS, Google, Azure)
Platform cloud computing kekuatan vertikal, terutama disiapkan untuk AI atau komputasi berkinerja tinggi
Penyedia layanan inferensi, terutama menerapkan model yang telah dilatih sebelumnya untuk pelanggan, melakukan penyesuaian atau inferensi.
Penyedia Data Latihan
Pelatihan model besar terutama melalui tiga langkah: pelatihan awal, penyesuaian, dan pembelajaran penguatan. Pelatihan awal membutuhkan banyak data, penyesuaian membutuhkan data berkualitas tinggi, oleh karena itu perusahaan seperti Google yang merupakan mesin pencari dan Reddit yang memiliki data percakapan berkualitas tinggi mendapatkan perhatian luas di pasar.
Beberapa pengembang memilih untuk mengembangkan di bidang khusus seperti keuangan, kesehatan, dan kimia agar tidak bersaing dengan model besar yang umum, dan membutuhkan data dari bidang tertentu. Oleh karena itu, ada perusahaan yang menyediakan data khusus untuk model besar ini, yang juga disebut sebagai perusahaan pelabelan data.
Untuk perusahaan pengembangan model, data dalam jumlah besar, data berkualitas tinggi, dan data spesifik adalah tiga jenis permintaan data utama.
Penelitian Microsoft menunjukkan bahwa jika kualitas data dari model bahasa kecil jauh lebih baik dibandingkan model bahasa besar, kinerjanya tidak selalu lebih buruk. Sebenarnya, GPT tidak memiliki keunggulan yang jelas dalam hal kreativitas dan data, terutama karena taruhan yang ditempatkan di arah tersebut yang menciptakan kesuksesan. Sequoia Amerika juga percaya bahwa GPT tidak akan selalu mempertahankan keunggulan kompetitif di masa depan, karena tidak ada benteng yang terlalu dalam di bidang ini, dengan batasan utama bersumber dari akses ke daya komputasi.
Menurut prediksi, berdasarkan pertumbuhan skala model saat ini, semua data berkualitas rendah dan tinggi akan habis pada tahun 2030. Oleh karena itu, industri sedang mengeksplorasi data sintetik yang dihasilkan oleh kecerdasan buatan untuk menghasilkan data yang tak terbatas, sehingga satu-satunya kendala yang tersisa adalah daya komputasi. Arah ini masih dalam tahap eksplorasi dan patut untuk diperhatikan.
Penyedia Database
Untuk tugas pelatihan dan inferensi data AI dan pembelajaran mendalam, saat ini industri menggunakan "basis data vektor". Basis data vektor dirancang untuk menyimpan, mengelola, dan mengindeks data vektor berdimensi tinggi dalam jumlah besar secara efisien. Dapat menyimpan data tidak terstruktur dalam bentuk "vektor", yang cocok untuk penyimpanan dan pemrosesan vektor ini.
Pemain utama termasuk Chroma, Zilliz, Pinecone, Weaviate, dan lain-lain. Diperkirakan dengan meningkatnya permintaan terhadap jumlah data, serta ledakan model besar dan aplikasi di berbagai bidang yang tersegmentasi, permintaan untuk Basis Data Vektor akan meningkat secara signifikan. Karena bidang ini memiliki hambatan teknologi yang kuat, investasi lebih cenderung mempertimbangkan perusahaan yang sudah matang dan memiliki pelanggan.
Perangkat Tepi
Saat membangun GPU HPC (klaster komputasi berkinerja tinggi), biasanya akan mengkonsumsi banyak energi untuk menghasilkan panas, memerlukan perangkat pendingin.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
7 Suka
Hadiah
7
5
Bagikan
Komentar
0/400
TokenUnlocker
· 13jam yang lalu
Blockchain mati posisi long buy the dip saja.
Lihat AsliBalas0
WagmiWarrior
· 13jam yang lalu
Menghasilkan uang adalah hal yang penting, Perdagangan Mata Uang Kripto akan selalu menjadi yang utama.
Lihat AsliBalas0
HodlNerd
· 13jam yang lalu
signifikansi statistik mengalahkan kebisingan pasar... pengenalan pola mengonfirmasi bahwa kita memasuki fase konvergen antara AI + kripto
Integrasi AI dan industri enkripsi: bagaimana pembelajaran mendalam merombak lanskap Web3
AI x Crypto: Dari Nol ke Puncak
Pendahuluan
Perkembangan industri kecerdasan buatan baru-baru ini dipandang oleh beberapa orang sebagai revolusi industri keempat. Munculnya model besar secara signifikan meningkatkan efisiensi di berbagai sektor, diperkirakan meningkatkan efisiensi kerja di Amerika Serikat sekitar 20%. Sementara itu, kemampuan generalisasi yang dibawa oleh model besar dianggap sebagai paradigma desain perangkat lunak baru, beralih dari kode yang tepat di masa lalu ke kerangka model besar yang lebih umum yang tertanam dalam perangkat lunak, yang dapat mendukung berbagai input dan output modal. Teknologi pembelajaran mendalam membawa kemakmuran keempat bagi industri AI, dan gelombang ini juga mempengaruhi industri cryptocurrency.
Laporan ini akan membahas secara mendalam sejarah perkembangan industri AI, klasifikasi teknologi, serta dampak teknologi pembelajaran mendalam terhadap industri. Analisis mendalam mengenai kondisi dan tren perkembangan hulu dan hilir rantai industri seperti GPU, komputasi awan, sumber data, dan perangkat tepi dalam pembelajaran mendalam. Dan secara esensial membahas hubungan antara cryptocurrency dan industri AI, serta menyusun pola rantai industri AI yang terkait dengan cryptocurrency.
Sejarah Perkembangan Industri AI
Industri AI dimulai pada tahun 1950-an, untuk mewujudkan visi kecerdasan buatan, dunia akademis dan industri telah mengembangkan berbagai aliran untuk mewujudkan kecerdasan buatan di berbagai era dan latar belakang disiplin yang berbeda.
Teknologi kecerdasan buatan modern terutama menggunakan istilah "pembelajaran mesin", yang prinsipnya adalah membuat mesin bergantung pada data untuk berulang kali mengiterasi dalam tugas untuk meningkatkan kinerja sistem. Langkah utama adalah mengirimkan data ke algoritma untuk melatih model, menguji model yang diterapkan, dan menggunakan model untuk menyelesaikan tugas prediksi otomatis.
Saat ini, ada tiga aliran utama dalam pembelajaran mesin, yaitu konektivisme, simbolisme, dan behaviorisme, yang masing-masing meniru sistem saraf, pemikiran, dan perilaku manusia. Saat ini, konektivisme yang diwakili oleh jaringan saraf (juga dikenal sebagai pembelajaran mendalam) mendominasi, alasan utamanya adalah arsitektur ini memiliki satu lapisan input, satu lapisan output, tetapi memiliki beberapa lapisan tersembunyi. Ketika jumlah lapisan dan neuron (parameter) cukup banyak, ada cukup peluang untuk menyesuaikan tugas umum yang kompleks. Melalui input data, parameter neuron dapat terus disesuaikan, setelah melalui banyak data, neuron tersebut akan mencapai kondisi optimal (parameter), inilah yang juga menjadi asal usul "kedalaman"—jumlah lapisan dan neuron yang cukup banyak.
Teknologi pembelajaran mendalam berbasis jaringan saraf juga memiliki beberapa iterasi dan evolusi teknis, dari jaringan saraf paling awal, ke jaringan saraf feedforward, RNN, CNN, GAN, hingga akhirnya berevolusi menjadi model besar modern seperti teknologi Transformer yang digunakan oleh GPT dan lainnya. Teknologi Transformer hanyalah salah satu arah evolusi jaringan saraf, yang menambahkan sebuah konverter untuk mengkodekan data dari semua moda (seperti audio, video, gambar, dll.) menjadi nilai-nilai yang sesuai untuk merepresentasikannya. Kemudian data ini dimasukkan ke dalam jaringan saraf, sehingga jaringan saraf dapat mencocokkan jenis data apa pun, yaitu merealisasikan multimodal.
Perkembangan AI telah mengalami tiga gelombang teknologi: Gelombang pertama terjadi pada tahun 1960-an, sepuluh tahun setelah teknologi AI diusulkan, gelombang ini disebabkan oleh perkembangan teknologi simbolisme, yang menyelesaikan masalah pemrosesan bahasa alami yang umum dan dialog antara manusia dan mesin. Pada periode yang sama, sistem pakar lahir.
Gelombang kedua teknologi AI terjadi pada tahun 1997, IBM Deep Blue mengalahkan juara catur Kasparov dengan skor 3.5:2.5, kemenangan ini dianggap sebagai tonggak dalam kecerdasan buatan.
Gelombang ketiga teknologi AI terjadi pada tahun 2006. Tiga raja deep learning, Yann LeCun, Geoffrey Hinton, dan Yoshua Bengio, mengemukakan konsep deep learning, sebuah algoritma yang menggunakan jaringan saraf buatan sebagai arsitektur untuk mempelajari representasi data. Setelah itu, algoritma deep learning secara bertahap berkembang, dari RNN, GAN hingga Transformer dan Stable Diffusion, algoritma-algoritma ini bersama-sama membentuk gelombang teknologi ketiga ini, serta merupakan masa kejayaan koneksionisme.
Rantai industri pembelajaran mendalam
Model bahasa besar saat ini semuanya menggunakan metode pembelajaran mendalam berbasis jaringan saraf. Dipimpin oleh GPT, model besar ini telah menciptakan gelombang antusiasme dalam kecerdasan buatan, dengan banyak pemain yang memasuki jalur ini, dan permintaan pasar terhadap data dan kekuatan komputasi melonjak. Bagian ini terutama mengeksplorasi rantai industri algoritma pembelajaran mendalam, komposisi hulu dan hilirnya, serta keadaan saat ini dan hubungan penawaran dan permintaan, serta perkembangan di masa depan.
Pelatihan LLM (model besar) yang dipimpin oleh GPT berbasis teknologi Transformer dibagi menjadi tiga langkah:
Langkah pertama, pra-pelatihan. Dengan memberikan cukup banyak pasangan data ke lapisan input untuk mencari parameter terbaik dari setiap neuron di bawah model ini, proses ini memerlukan banyak data dan juga merupakan proses yang paling menghabiskan daya komputasi.
Langkah kedua, fine-tuning. Berikan sekelompok data dengan jumlah kecil tetapi kualitas sangat tinggi untuk melatih, guna meningkatkan kualitas output model.
Langkah ketiga, pembelajaran penguatan. Membangun sebuah "model penghargaan" untuk menentukan apakah keluaran model besar berkualitas tinggi, digunakan untuk secara otomatis mengiterasi parameter model besar.
Singkatnya, dalam proses pelatihan model besar, pra-pelatihan membutuhkan jumlah data yang sangat tinggi dan membutuhkan daya komputasi GPU yang paling banyak; penyetelan memerlukan data berkualitas lebih tinggi untuk memperbaiki parameter; pembelajaran penguatan dapat mengulangi parameter melalui model penghargaan untuk menghasilkan hasil yang lebih berkualitas.
Kinerja model besar terutama ditentukan oleh tiga aspek: jumlah parameter, jumlah dan kualitas data, serta daya komputasi. Ketiga faktor ini secara bersama-sama mempengaruhi kualitas hasil dan kemampuan generalisasi model besar. Misalkan jumlah parameter adalah p, jumlah data adalah n (dihitung dalam jumlah Token), maka melalui aturan empiris dapat dihitung jumlah komputasi yang diperlukan, sehingga dapat memperkirakan kebutuhan daya komputasi yang harus dibeli serta waktu pelatihan.
Kekuatan komputasi umumnya diukur dalam Flops sebagai satuan dasar, yang mewakili satu operasi floating-point. Menurut aturan praktis, pra-pelatihan satu model besar membutuhkan sekitar 6np Flops. Inferensi (proses menunggu model besar menghasilkan output dari data masukan) membutuhkan sekitar 2np Flops.
Penggunaan chip CPU untuk pelatihan awal memberikan dukungan daya komputasi, dan kemudian secara bertahap digantikan oleh GPU, seperti chip Nvidia A100, H100, dan lainnya. Karena GPU dapat berfungsi sebagai komputasi khusus, efisiensi konsumsi energinya jauh lebih baik dibandingkan CPU. GPU menjalankan operasi floating point terutama melalui modul Tensor Core. Data Flops pada presisi FP16/FP32 chip mewakili kemampuan komputasi utamanya, dan merupakan salah satu indikator utama dari chip.
Misalkan parameter model besar dengan contoh GPT3, memiliki 175 miliar parameter, 180 miliar Token data (sekitar 570GB), maka untuk melakukan satu pre-training diperlukan 6np Flops, sekitar 3,1510^22 Flops. Dalam satuan TFLOPS (Triliun FLOPs) sekitar 3,1510^10 TFLOPS, yang berarti satu chip model SXM memerlukan sekitar 584 hari untuk melakukan pre-training GPT3.
Dari sini dapat dilihat bahwa jumlah komputasi besar yang diperlukan untuk pre-training memerlukan banyak chip canggih untuk bekerja sama. Jumlah parameter GPT-4 adalah sepuluh kali lipat dari GPT-3, yang berarti bahkan jika jumlah data tidak berubah, jumlah chip yang harus dibeli juga harus sepuluh kali lebih banyak. Jumlah token GPT-4 adalah 13 triliun, juga sepuluh kali lipat dari GPT-3, pada akhirnya GPT-4 mungkin memerlukan lebih dari 100 kali lipat kekuatan komputasi chip.
Dalam pelatihan model besar, penyimpanan data juga menjadi masalah. Ruang memori GPU umumnya lebih kecil (seperti A100 yang memiliki 80GB), sehingga tidak dapat menampung semua data, oleh karena itu perlu mempertimbangkan bandwidth chip, yaitu kecepatan transfer data dari hard disk ke memori. Sementara itu, karena penggunaan beberapa chip GPU, juga melibatkan kecepatan transfer antar GPU. Jadi, seringkali, faktor atau biaya yang membatasi praktik pelatihan model bukanlah kemampuan komputasi chip, tetapi lebih sering mungkin adalah bandwidth chip. Karena transfer data yang lambat dapat menyebabkan waktu menjalankan model menjadi lebih lama, maka biaya listrik akan meningkat.
Rantai industri pembelajaran mendalam terutama terdiri dari beberapa bagian berikut:
Penyedia GPU Hardware
Saat ini Nvidia berada di posisi terdepan yang absolut di bidang chip GPU AI. Dunia akademis terutama menggunakan GPU kelas konsumen (seri RTX); industri utama menggunakan H100, A100, dan lain-lain untuk penerapan komersial model besar.
Pada tahun 2023, chip H100 terbaru dari Nvidia segera mendapatkan langganan dari beberapa perusahaan setelah diluncurkan. Permintaan global untuk chip H100 jauh melebihi pasokan, dengan siklus pengirimannya telah mencapai 52 minggu. Mengingat situasi monopoli Nvidia, Google memimpin bersama Intel, Qualcomm, Microsoft, dan Amazon membentuk Aliansi CUDA, berharap dapat bersama-sama mengembangkan GPU untuk mengurangi pengaruh Nvidia.
Untuk perusahaan teknologi super besar/penyedia layanan cloud/laboratorium tingkat nasional, mereka sering membeli ribuan hingga puluhan ribu chip H100 untuk membangun HPC (pusat komputasi berkinerja tinggi). Hingga akhir 2023, jumlah pesanan chip H100 telah melebihi 500.000 unit.
Dalam hal pasokan chip Nvidia, informasi tentang H200 telah dirilis, diharapkan kinerja H200 adalah dua kali lipat dari kinerja H100, sementara B100 akan diluncurkan pada akhir 2024 atau awal 2025. Saat ini, perkembangan GPU masih memenuhi hukum Moore, dengan kinerja yang meningkat dua kali lipat setiap 2 tahun, dan harga turun setengah.
Penyedia Layanan Cloud
Penyedia layanan cloud, setelah membeli cukup banyak GPU untuk membangun HPC, dapat menawarkan kekuatan komputasi yang fleksibel dan solusi pelatihan yang dikelola bagi perusahaan kecerdasan buatan dengan dana terbatas. Saat ini, pasar terutama dibagi menjadi tiga kategori penyedia kekuatan komputasi cloud:
Penyedia Data Latihan
Pelatihan model besar terutama melalui tiga langkah: pelatihan awal, penyesuaian, dan pembelajaran penguatan. Pelatihan awal membutuhkan banyak data, penyesuaian membutuhkan data berkualitas tinggi, oleh karena itu perusahaan seperti Google yang merupakan mesin pencari dan Reddit yang memiliki data percakapan berkualitas tinggi mendapatkan perhatian luas di pasar.
Beberapa pengembang memilih untuk mengembangkan di bidang khusus seperti keuangan, kesehatan, dan kimia agar tidak bersaing dengan model besar yang umum, dan membutuhkan data dari bidang tertentu. Oleh karena itu, ada perusahaan yang menyediakan data khusus untuk model besar ini, yang juga disebut sebagai perusahaan pelabelan data.
Untuk perusahaan pengembangan model, data dalam jumlah besar, data berkualitas tinggi, dan data spesifik adalah tiga jenis permintaan data utama.
Penelitian Microsoft menunjukkan bahwa jika kualitas data dari model bahasa kecil jauh lebih baik dibandingkan model bahasa besar, kinerjanya tidak selalu lebih buruk. Sebenarnya, GPT tidak memiliki keunggulan yang jelas dalam hal kreativitas dan data, terutama karena taruhan yang ditempatkan di arah tersebut yang menciptakan kesuksesan. Sequoia Amerika juga percaya bahwa GPT tidak akan selalu mempertahankan keunggulan kompetitif di masa depan, karena tidak ada benteng yang terlalu dalam di bidang ini, dengan batasan utama bersumber dari akses ke daya komputasi.
Menurut prediksi, berdasarkan pertumbuhan skala model saat ini, semua data berkualitas rendah dan tinggi akan habis pada tahun 2030. Oleh karena itu, industri sedang mengeksplorasi data sintetik yang dihasilkan oleh kecerdasan buatan untuk menghasilkan data yang tak terbatas, sehingga satu-satunya kendala yang tersisa adalah daya komputasi. Arah ini masih dalam tahap eksplorasi dan patut untuk diperhatikan.
Penyedia Database
Untuk tugas pelatihan dan inferensi data AI dan pembelajaran mendalam, saat ini industri menggunakan "basis data vektor". Basis data vektor dirancang untuk menyimpan, mengelola, dan mengindeks data vektor berdimensi tinggi dalam jumlah besar secara efisien. Dapat menyimpan data tidak terstruktur dalam bentuk "vektor", yang cocok untuk penyimpanan dan pemrosesan vektor ini.
Pemain utama termasuk Chroma, Zilliz, Pinecone, Weaviate, dan lain-lain. Diperkirakan dengan meningkatnya permintaan terhadap jumlah data, serta ledakan model besar dan aplikasi di berbagai bidang yang tersegmentasi, permintaan untuk Basis Data Vektor akan meningkat secara signifikan. Karena bidang ini memiliki hambatan teknologi yang kuat, investasi lebih cenderung mempertimbangkan perusahaan yang sudah matang dan memiliki pelanggan.
Perangkat Tepi
Saat membangun GPU HPC (klaster komputasi berkinerja tinggi), biasanya akan mengkonsumsi banyak energi untuk menghasilkan panas, memerlukan perangkat pendingin.