Telah dikatakan bahawa syarikat teknologi sama ada berebut untuk mendapatkan GPU atau dalam laluan untuk memperolehnya. Pada bulan April, Ketua Pegawai Eksekutif Tesla Elon Musk membeli 10,000 GPU dan menyatakan bahawa syarikat itu akan terus membeli sejumlah besar GPU daripada NVIDIA. Di sisi perusahaan, kakitangan IT juga berusaha keras untuk memastikan GPU sentiasa digunakan untuk memaksimumkan pulangan pelaburan. Walau bagaimanapun, sesetengah syarikat mungkin mendapati bahawa walaupun bilangan GPU meningkat, kemalasan GPU menjadi lebih teruk.
Jika sejarah telah mengajar kita apa-apa tentang pengkomputeran berprestasi tinggi (HPC), penyimpanan dan perangkaian tidak seharusnya dikorbankan dengan mengorbankan terlalu fokus pada pengiraan. Jika storan tidak dapat memindahkan data ke unit pengkomputeran dengan cekap, walaupun anda mempunyai paling banyak GPU di dunia, anda tidak akan mencapai kecekapan optimum.
Menurut Mike Matchett, seorang penganalisis di Small World Big Data, model yang lebih kecil boleh dilaksanakan dalam memori (RAM), membolehkan lebih fokus pada pengiraan. Walau bagaimanapun, model yang lebih besar seperti ChatGPT dengan berbilion-bilion nod tidak boleh disimpan dalam ingatan kerana kos yang tinggi.
"Anda tidak boleh memuatkan berbilion-bilion nod dalam ingatan, jadi storan menjadi lebih penting," kata Matchett. Malangnya, storan data sering diabaikan semasa proses perancangan.
Secara umum, tanpa mengira kes penggunaan, terdapat empat perkara biasa dalam proses latihan model:
1. Latihan Model
2. Aplikasi Inferens
3. Penyimpanan Data
4. Pengkomputeran Dipercepatkan
Apabila mencipta dan menggunakan model, kebanyakan keperluan mengutamakan pembuktian konsep cepat (POC) atau persekitaran ujian untuk memulakan latihan model, dengan keperluan penyimpanan data tidak diberi pertimbangan utama.
Walau bagaimanapun, cabarannya terletak pada hakikat bahawa latihan atau penggunaan inferens boleh bertahan selama berbulan-bulan atau bahkan bertahun-tahun. Banyak syarikat dengan pantas meningkatkan saiz model mereka pada masa ini, dan infrastruktur mesti berkembang untuk menampung model dan set data yang semakin berkembang.
Penyelidikan daripada Google tentang berjuta-juta beban kerja latihan ML mendedahkan bahawa purata 30% masa latihan dibelanjakan untuk saluran paip data input. Walaupun penyelidikan lepas menumpukan pada mengoptimumkan GPU untuk mempercepatkan latihan, banyak cabaran masih kekal dalam mengoptimumkan pelbagai bahagian saluran paip data. Apabila anda mempunyai kuasa pengiraan yang ketara, kesesakan sebenar ialah seberapa cepat anda boleh memasukkan data ke dalam pengiraan untuk mendapatkan hasil.
Khususnya, cabaran dalam storan dan pengurusan data memerlukan perancangan untuk pertumbuhan data, membolehkan anda mengekstrak nilai data secara berterusan semasa anda maju, terutamanya apabila anda menceburi kes penggunaan yang lebih maju seperti pembelajaran mendalam dan rangkaian saraf, yang meletakkan permintaan yang lebih tinggi pada penyimpanan dari segi kapasiti, prestasi dan kebolehskalaan.
khususnya:
Kebolehskalaan
Pembelajaran mesin memerlukan pengendalian sejumlah besar data, dan apabila volum data meningkat, ketepatan model juga bertambah baik. Ini bermakna perniagaan mesti mengumpul dan menyimpan lebih banyak data setiap hari. Apabila storan tidak dapat diskalakan, beban kerja intensif data mewujudkan kesesakan, mengehadkan prestasi dan mengakibatkan masa terbiar GPU yang mahal.
Fleksibiliti
Sokongan fleksibel untuk berbilang protokol (termasuk NFS, SMB, HTTP, FTP, HDFS dan S3) diperlukan untuk memenuhi keperluan sistem yang berbeza, dan bukannya terhad kepada satu jenis persekitaran.
Latensi
Latensi I/O adalah penting untuk membina dan menggunakan model kerana data dibaca dan dibaca semula beberapa kali. Mengurangkan kependaman I/O boleh memendekkan masa latihan model mengikut hari atau bulan. Pembangunan model yang lebih pantas secara langsung diterjemahkan kepada kelebihan perniagaan yang lebih besar.
Throughput
Daya tampung sistem storan adalah penting untuk latihan model yang cekap. Proses latihan melibatkan sejumlah besar data, biasanya dalam terabait sejam.
Akses Selari
Untuk mencapai daya tampung yang tinggi, model latihan membahagikan aktiviti kepada berbilang tugas selari. Ini selalunya bermakna algoritma pembelajaran mesin mengakses fail yang sama daripada berbilang proses (berpotensi pada berbilang pelayan fizikal) secara serentak. Sistem storan mesti mengendalikan permintaan serentak tanpa menjejaskan prestasi.
Dengan keupayaan cemerlangnya dalam kependaman rendah, daya pemprosesan tinggi dan I/O selari berskala besar, Dell PowerScale ialah pelengkap storan yang ideal untuk pengkomputeran dipercepatkan GPU. PowerScale berkesan mengurangkan masa yang diperlukan untuk model analisis yang melatih dan menguji set data berbilang terabait. Dalam storan semua denyar PowerScale, lebar jalur meningkat sebanyak 18 kali ganda, menghapuskan kesesakan I/O dan boleh ditambah pada kelompok Isilon sedia ada untuk mempercepat dan membuka kunci nilai sejumlah besar data tidak berstruktur.
Selain itu, keupayaan capaian berbilang protokol PowerScale memberikan fleksibiliti tanpa had untuk menjalankan beban kerja, membolehkan data disimpan menggunakan satu protokol dan diakses menggunakan protokol lain. Khususnya, ciri berkuasa, fleksibiliti, skalabiliti dan kefungsian gred perusahaan platform PowerScale membantu menangani cabaran berikut:
- Mempercepatkan inovasi sehingga 2.7 kali ganda, mengurangkan kitaran latihan model.
- Hapuskan kesesakan I/O dan berikan latihan dan pengesahan model yang lebih pantas, ketepatan model yang dipertingkatkan, produktiviti sains data yang dipertingkatkan dan pulangan maksimum untuk pelaburan pengkomputeran dengan memanfaatkan ciri gred perusahaan, prestasi tinggi, konkurensi dan kebolehskalaan. Tingkatkan ketepatan model dengan set data beresolusi tinggi yang lebih mendalam dengan memanfaatkan sehingga 119 PB kapasiti storan berkesan dalam satu kelompok.
- Mencapai penggunaan pada skala dengan memulakan pengiraan dan storan skala kecil dan bebas, menyampaikan pilihan perlindungan dan keselamatan data yang mantap.
- Tingkatkan produktiviti sains data dengan analitik di tempat dan penyelesaian pra-disahkan untuk penggunaan yang lebih pantas dan berisiko rendah.
- Memanfaatkan reka bentuk terbukti berdasarkan teknologi baka terbaik, termasuk pecutan GPU NVIDIA dan seni bina rujukan dengan sistem NVIDIA DGX. Prestasi tinggi dan keselarasan PowerScale memenuhi keperluan prestasi storan pada setiap peringkat pembelajaran mesin, daripada pemerolehan dan penyediaan data kepada latihan model dan inferens. Bersama-sama dengan sistem pengendalian OneFS, semua nod boleh beroperasi dengan lancar dalam kelompok didorong OneFS yang sama, dengan ciri peringkat perusahaan seperti pengurusan prestasi, pengurusan data, keselamatan dan perlindungan data, membolehkan penyiapan latihan model dan pengesahan yang lebih pantas untuk perniagaan.
Masa siaran: Jul-03-2023
