Chip Terbesar di Dunia

Aug 23, 2021

Tinggalkan pesan

Dalam perlombaan untuk mempercepat kecerdasan buatan, perusahaan Silicon Valley, Cerebras, mengambil strategi yang tidak biasa: Menjadi besar.


Sementara chip komputer biasa berukuran sebesar kuku, Cerebras' chip adalah ukuran piring makan.


Pembelajaran mendalam, teknologi AI yang mendukung asisten suara, mobil self-driving, dan juara Go, bergantung pada"neural network" perangkat lunak yang disusun berlapis-lapis. Sistem pembelajaran mendalam dapat berjalan di satu komputer, tetapi sistem terbesar tersebar di ribuan mesin yang terhubung, terkadang di pusat data besar, seperti yang dioperasikan oleh Google. Dalam kelompok besar, hingga 48 server seukuran kotak pizza meluncur ke rak setinggi satu orang; Rak-rak tersebut berjajar dan memenuhi bangunan seukuran gudang. Jaringan saraf dalam sistem ini dapat memecahkan masalah yang menakutkan, tetapi mereka juga menghadapi tantangan yang jelas. Sebuah jaringan yang berkembang biak dalam sebuah cluster seperti otak yang tersebar di seluruh ruangan dan terhubung bersama. Elektron bergerak cepat, tetapi meskipun demikian, komunikasi antar chip lambat dan menghabiskan banyak energi.


Eric Vishria, mitra umum di perusahaan modal ventura San Francisco Benchmark, pertama kali menyadari masalah ini ketika dia mendengar Cerebras Systems, sebuah perusahaan chip komputer baru, berbicara pada musim semi 2016. Benchmark dikenal sebagai investor awal di perusahaan seperti Twitter, Uber, dan ebay -- yaitu, dalam perangkat lunak, bukan perangkat keras. Perusahaan melihat sekitar 200 start-up setahun dan berinvestasi dalam satu."Kami sedang memainkan permainan mencium seribu katak ini," Vishri memberitahuku. Di awal pidatonya, dia memutuskan untuk melemparkan katak itu kembali."Saya pikir, mengapa saya setuju?&kutipan; Kami'tidak akan berinvestasi dalam perangkat keras,"ingatnya berpikir."Itu' itu bodoh.&kutipan;


Co-founder Cerebras Andrew Feldman memulai dengan slide cover ke slide timnya dan menarik perhatian Vishria' bakatnya sangat mengesankan. Feldman kemudian membandingkan kedua jenis chip komputer tersebut. Pertama, dia melihat unit pemrosesan grafis, atau GPU -- chip yang dirancang khusus untuk membuat gambar 3D. Sistem pembelajaran mesin' hari ini mengandalkan chip grafis ini karena berbagai alasan. Selanjutnya, dia melihat unit pemrosesan pusat, atau cpus, chip serba guna yang melakukan sebagian besar pekerjaan di komputer biasa."Slide ketiga tentang'Gpus,' yang sebenarnya buruk untuk pembelajaran mendalam -- mereka kebetulan seratus kali lebih baik daripada CPU.&kutipan; Cerebras telah datang dengan jenis chip baru yang tidak dirancang untuk grafis tetapi dirancang khusus untuk kecerdasan buatan.


Vishria terbiasa mendengar saran dari perusahaan yang berencana menggunakan pembelajaran mendalam dalam keamanan siber, pencitraan medis, chatbot, dan aplikasi lainnya. Setelah Cerebras' berbicara, dia berbicara dengan para insinyur di perusahaan yang didanai oleh Benchmark, termasuk Zillow, Uber, dan Stitch Fix; Mereka mengatakan kepadanya bahwa mereka mengalami masalah dengan AI karena terlalu lama untuk"melatih" jaringan saraf. Google telah mulai menggunakan unit pemrosesan tensor"tensor super cepat," atau Tpus, chip khusus yang dirancang untuk kecerdasan BUATAN. Vishria tahu ada demam emas yang sedang terjadi dan seseorang harus membuat pemungut dan sekop.


Tahun itu, Benchmark and Foundation Capital, firma modal ventura lainnya, memimpin putaran pendanaan sebesar $27 juta untuk Cerebras, yang telah mengumpulkan hampir $500 juta. Perusahaan lain juga membuat apa yang disebut akselerator kecerdasan buatan; Otak' pesaing groq, Graphcore dan Sambanova mengumpulkan lebih dari $2 miliar modal di antara mereka. Tapi Cerebral' pendekatannya unik. Alih-alih mencetak lusinan wafer pada sepotong besar silikon, memotongnya dan menghubungkannya satu sama lain, perusahaan telah menciptakan"wafer level" raksasa; chip. Sementara chip komputer biasa seukuran kuku, Cerebras seukuran piring makan dan merupakan chip komputer terbesar di dunia.


Bahkan pesaing menganggap prestasi itu mengesankan."Ini ilmu baru," Nigel Toon, CEO dan salah satu pendiri Graphcore'"Itu' sebuah karya teknik yang luar biasa. Itu' sebuah mahakarya.&kutipan; Sementara itu, insinyur lain yang saya ajak bicara menggambarkannya sebagai proyek sains -- besar demi's besar. Di masa lalu, perusahaan telah mencoba dan gagal membuat chip raksasa; Otak' rencana berarti taruhan bahwa mengatasi tantangan teknik adalah mungkin dan sepadan."Jujur, bagi saya, ketidaktahuan adalah keuntungan," kata Wishri."Saya tidak' tidak tahu apakah saya tahu betapa sulitnya melakukan apa yang mereka lakukan, saya akan memiliki keberanian untuk berinvestasi.&kutipan;


Sangat mudah untuk menerima begitu saja bahwa komputer menjadi lebih cepat dan lebih cepat. Ini sering dijelaskan oleh Hukum Moore's: pola yang ditetapkan pada tahun 1965 oleh pelopor semikonduktor Gordon Moore, yang menyatakan bahwa jumlah transistor pada sebuah chip berlipat ganda setiap tahun atau setiap dua tahun. Tentu saja, Hukum Moore' bukanlah' sebenarnya bukan hukum, dan para insinyur bekerja tanpa lelah untuk mengecilkan transistor sambil juga meningkatkan quot;arsitektur" &; setiap chip untuk membuat desain yang lebih efisien dan kuat.


Arsitek chip telah lama bertanya-tanya apakah satu chip komputer skala besar mungkin lebih efisien daripada sekelompok chip yang lebih kecil, seperti halnya kota dengan sumber daya terkonsentrasi dan blok padat lebih efisien daripada pinggiran kota. Idenya pertama kali dicoba pada 1960-an, ketika Texas Instruments membatasi produksi chip dengan lebar beberapa inci. Tetapi para insinyur perusahaan' mengalami masalah hasil. Pada wafer silikon apa pun, cacat produksi pasti membahayakan sejumlah sirkuit tertentu. Jika wafer berisi 50 chip, perusahaan dapat membuang yang buruk dan menjual yang bagus. Tetapi jika setiap chip yang berhasil bergantung pada sirkuit kerja satu wafer, banyak wafer mahal akan dibuang. Texas Instruments menemukan solusi, tetapi teknologi dan kebutuhannya' belum ada.


Pada 1980-an, seorang insinyur bernama Gene Amdahl mencoba lagi untuk memecahkan masalah dengan perusahaan yang ia dirikan bernama Trilogy Systems. Ini menjadi startup terbesar dalam sejarah Silicon Valley's, dengan pendanaan sekitar $250 juta. Untuk mengatasi masalah hasil, Trilogy mencetak komponen yang berlebihan ke dalam chip. Metode ini meningkatkan produksi tetapi mengurangi kecepatan chip. Sementara itu, Trilogy sedang berjuang dengan cara lain. Amdahl menabrak pengendara sepeda motor dengan Rolls Royce-nya, menyebabkan masalah hukum; Presidennya meninggal karena tumor otak; Hujan deras telah menunda pembangunan pabrik, sistem pendingin udara berkarat, dan mengumpulkan debu pada keripik. Pada tahun 1984, Trilogy menyerah."Saya tidak' tidak menyadari betapa sulitnya," Putra Amdahl' mengatakan kepada The Times.


Jika teknologi Trilogy's berhasil, sekarang dapat digunakan untuk pembelajaran mendalam. Sebaliknya, GPU (chip yang digunakan dalam video game) memecahkan masalah ilmiah di laboratorium nasional. Menggunakan kembali GPU untuk AI bergantung pada fakta bahwa jaringan saraf, meskipun sangat kompleks, bergantung pada banyak perkalian dan penambahan. Ketika"neuron" dalam jaringan saling menembak, mereka memperkuat atau mengurangi sinyal's satu sama lain, mengalikannya dengan koefisien yang disebut bobot koneksi. Prosesor AI yang efisien akan menghitung banyak aktivasi secara paralel; Ini menggabungkan mereka menjadi serangkaian angka yang disebut vektor, atau kisi-kisi angka yang disebut matriks, atau blok berdimensi lebih tinggi yang disebut tensor. Idealnya, Anda ingin mengalikan satu matriks atau tensor dengan matriks lain sekaligus. GPU dirancang untuk melakukan hal serupa:


& quot;Bayangan Trilogi begitu besar," Feldman mengatakan kepada saya baru-baru ini,"bahwa orang berhenti berpikir dan mulai berkata,'Itu' tidak mungkin.'&kutipan; Perusahaan GPU, termasuk Nvidia, memanfaatkan kesempatan untuk menyesuaikan chip mereka untuk pembelajaran mendalam. Pada tahun 2015, Feldman dan sekelompok arsitek komputer mulai mendiskusikan ide chip yang lebih besar setelah mereka mendirikan pembuat server komputer, Seamicro, yang mereka jual ke pembuat chip AMD seharga $334 juta. Mereka mengerjakan masalah ini selama empat bulan di kantor yang dipinjam dari perusahaan modal ventura. Ketika mereka memiliki garis besar solusi yang layak, mereka berbicara dengan delapan perusahaan; Mendapat dana dari Benchmark, Foundation Capital, dan Eclipse, dan mulai merekrut.


Otak' tugas pertama adalah memecahkan masalah manufaktur yang mengganggu chip besar. Chip tersebut awalnya merupakan ingot silinder dari silikon kristal dengan diameter sekitar satu kaki, dan ingot baja dipotong menjadi wafer setebal kurang dari satu milimeter. Rangkaian tersebut kemudian"tercetak" ke wafer melalui proses yang disebut litografi. Bahan kimia yang sensitif terhadap UV secara hati-hati disimpan di permukaan, dan kemudian seberkas sinar UV diproyeksikan melalui templat terperinci yang disebut topeng. Bahan kimia ini bereaksi membentuk sirkuit.


Biasanya, area yang ditutupi oleh cahaya yang diproyeksikan melalui topeng menjadi sebuah chip. Kemudian chip bergerak dan cahaya diproyeksikan lagi. Setelah puluhan atau ratusan chip telah dicetak, mereka dipotong laser dari wafer."Cara termudah untuk melakukannya adalah ibumu mengeluarkan adonan kue bulat," kata Feldman."Dia punya cetakan kue dan dia memotong kue dengan hati-hati.&kutipan; Hukum fisika dan optik tidak memungkinkan untuk membuat pemotong kue yang lebih besar. Akibatnya,"kami mengembangkan teknologi sehingga Anda dapat berkomunikasi melalui sedikit adonan di antara dua cookie.&kutipan;


Dalam sistem pencetakan Cerebras yang dikembangkan bekerja sama dengan TSMC, perusahaan yang membuat chip, tepi cookie saling tumpang tindih sehingga kabelnya terhubung. Hasilnya adalah satu"ukuran wafer" wafer, persegi berwarna tembaga dan 21cm di setiap sisi. (Gpus terbesar berdiameter sedikit kurang dari 3 cm.) Cerebras memproduksi chip pertamanya, Wafer-scale Engine 1, pada 2019. Wse-2, yang diperkenalkan tahun ini, menggunakan sirkuit yang lebih padat, dengan 2,6 triliun transistor yang dikemas ke dalam 850.000 unit pemrosesan , atau"inti". (Gpus teratas hanya memiliki beberapa ribu core, sementara sebagian besar CPU memiliki kurang dari 10.)


& quot;2,6 triliun transistor mencengangkan," kata Aart de Geus, Ketua dan co-CEO Synopsys. Synopsys menyediakan beberapa perangkat lunak yang digunakan Cerebras dan pembuat chip lainnya untuk membuat dan memvalidasi desain chip mereka. De Geus mengatakan bahwa ketika merancang chip, para insinyur pertama-tama harus mempertimbangkan dua pertanyaan inti:"Dari mana data itu berasal?&kutipan; Dimana penanganannya?&kutipan; Ketika chip lebih sederhana, desainer dapat menjawab pertanyaan-pertanyaan ini dengan pensil di atas meja gambar; Saat bekerja dengan chip's yang lebih kompleks saat ini, masukkan kode yang menjelaskan arsitektur yang ingin mereka buat, lalu lanjutkan ke alat visualisasi dan pengkodean."Pikirkan bagaimana rumah itu terlihat dari atap," kata de Geus."Apakah garasi dekat dapur? Atau dekat dengan kamar tidur? Anda menginginkannya di dekat dapur -- jika tidak, Anda'harus membawa belanjaan melalui setiap sudut rumah.&kutipan; Setelah mendesain denah, dia menjelaskan,"Anda dapat menggunakan persamaan untuk menggambarkan apa yang terjadi di dalam ruangan.&kutipan;


Kompleksitas desain chip sangat membingungkan."Ada banyak lapisan di sini," kata de Geus, dengan sirkuit yang saling bersilangan dan berlapis di atas satu sama lain, seperti jalan layang jalan raya utama. Untuk para insinyur Cerebras, yang mengerjakan skala wafer, kerumitannya meningkat. Sinopsis' perangkat lunak membantu dalam bentuk kecerdasan buatan: algoritma pencocokan pola mengidentifikasi masalah umum dan mengusulkan solusi; Program pengoptimal memindahkan ruangan ke pengaturan yang lebih cepat dan lebih efisien. Jika terlalu banyak jalur yang mencoba masuk ke gedung dua blok, perangkat lunak memungkinkan para insinyur untuk memainkan Robert Moses dan memindahkan blok.


Pada akhirnya, kata Feldman, ada beberapa keuntungan dari desain chip yang terlalu besar. Ketika inti berada pada chip yang sama, mereka berkomunikasi lebih cepat: otak komputer' sekarang terkonsentrasi di satu tengkorak, bukan tersebar di seluruh ruangan. Chip yang lebih besar juga menangani memori dengan lebih baik. Biasanya, chip kecil yang siap memproses file harus terlebih dahulu mendapatkan file dari chip memori bersama yang terletak di tempat lain di papan sirkuit; Hanya data yang paling umum digunakan yang di-cache lebih dekat ke rumah. Dalam menggambarkan efisiensi chip tingkat wafer, Feldman menawarkan analogi: Dia meminta saya untuk membayangkan sekelompok teman sekamar (inti) yang tinggal di asrama (chip) yang ingin menonton pertandingan sepak bola (melakukan pekerjaan komputasi). Untuk menonton pertandingan, kata feldman, teman sekamar perlu menyimpan bir di lemari es (data disimpan di memori); Cerebras menyimpan kulkas di setiap kamar sehingga teman sekamar tidak'tidak perlu mengambil risiko pergi ke dapur umum asrama' atau Safeway. Ini memiliki manfaat tambahan yang memungkinkan setiap inti memproses data yang berbeda lebih cepat."Jadi aku bisa punya Bud di kamar asramaku," kata Feldman."Di asrama Anda, Anda dapat memiliki Schlitz.&kutipan;


Akhirnya, Cerebras harus mengatasi masalah hasil. Insinyur perusahaan's menggunakan trik Trilogi': redundansi. Tapi di sini mereka memiliki keunggulan dibandingkan pendahulu mereka. Trilogy mencoba membuat chip generik dengan banyak komponen berbeda, jadi pengkabelan di sekitar satu komponen yang gagal mungkin memerlukan koneksi ke pengganti yang jauh. Di Otak' chip, semua core identik. Jika satu biskuit salah, biskuit di sekitarnya sama baiknya.