Scris de Savannah Fortis prin CoinTelegraph.com,

Cipul LPU al lui Groq apare ca o soluție potențială la provocările cu care se confruntă dezvoltatorii de inteligență artificială care se bazează pe GPU, stârnind comparații cu ChatGPT.

>

Cel mai recent instrument de inteligență artificială AI pentru a capta atenția publicului este Groq LPU Inference Engine, care a devenit o senzație peste noapte pe rețelele sociale după testele sale de referință publice a devenit viral, depășind modelele de top de alte companii Big Tech.

Groq, care nu trebuie confundat cu modelul AI al lui Elon Musk numit Grok, nu este, de fapt, un model în sine, ci un sistem de cipuri prin care un model poate rula.

Echipa din spatele Groq și-a dezvoltat propriul cip AI "definit de software”, pe care l-a numit o unitate de procesare a limbajului LPU, dezvoltat în scopuri de inferență.LPU-ul îi permite lui Groq să genereze aproximativ 500 de jetoane pe secundă.

În comparație, modelul AI disponibil public ChatGPT-3.5, care funcționează cu unități de procesare grafică GPU rare și costisitoare, poate genera aproximativ 40 de jetoane pe secundă.Comparațiile dintre Groq și alte sisteme AI au inundat platforma X.

Groq este un tip de arhitectură AI radical diferit
>
> Printre noua generație de startup-uri cu cipuri AI, Groq se remarcă printr-o abordare radical diferită, centrată pe tehnologia compilatorului pentru optimizarea unei arhitecturi minimaliste, dar de înaltă performanță.Sosul secret al lui Groq este acesta...pic.twitter.com/Z70sihHNbx

— Carlos E.Perez @IntuitMachine 20 februarie 2024

Cointelegraph a auzit de la Mark Heaps, evanghelistul șef la Groq, pentru a înțelege mai bine instrumentul și modul în care acesta poate transforma modul în care funcționează sistemele AI.

Heaps a spus că fondatorul Groq, Jonathan Ross, a vrut inițial să creeze o tehnologie de sistem care să împiedice AI să fie "împărțit între cei care au și cei care nu au”.

La vremea respectivă, unitățile de procesare a tensorului TPU erau disponibile pentru Google numai pentru propriile sisteme, totuși, LPU-urile s-au născut deoarece:

"[Ross] și echipa doreau ca oricine din lume să poată accesa acest nivel de calcul pentru AI pentru a găsi noi soluții inovatoare pentru lume.”

Directorul Groq a explicat că LPU este o "soluție hardware proiectată mai întâi de software”, prin care natura designului simplifică modul în care datele circulă – nu numai pe cip, ci de la cip la cip și în întreaga rețea.

"Fără nevoie de programatori, biblioteci CUDA, kerneluri și altele îmbunătățește nu numai performanța, ci și experiența dezvoltatorului”, a spus el.

"Imaginați-vă că faceți naveta la serviciu și fiecare semafor roșu devine verde în timp ce ați lovit-o pentru că știa când veți fi acolo.Sau adevărul este că nu ai avea nevoie deloc de semafoare.Așa este când datele călătoresc prin LPU-ul nostru.”

O problemă actuală care afectează dezvoltatorii din industrie este deficitul și costul GPU-urilor puternice, cum ar fi Chipurile Nvidia A100 și H100 — necesare pentru a rula modele AI.

Cu toate acestea, Heaps a spus că nu au aceleași probleme deoarece cipul lor este fabricat folosind siliciu de 14 nm."Această dimensiune a matriței a fost folosită timp de 10 ani în designul de cipuri”, a spus el, "și este foarte accesibilă și ușor disponibilă.Următorul nostru cip va fi de 4 nm și va fi fabricat și în Statele Unite.”

El a spus că sistemele GPU au încă un loc atunci când vorbește despre rularea implementărilor hardware la scară mai mică.Cu toate acestea, alegerea dintre GPU și LPU se reduce la mai mulți factori, inclusiv volumul de lucru și modelul.

"Dacă vorbim de un sistem la scară largă, care deservește mii de utilizatori cu o utilizare ridicată a unui model de limbă mare, cifrele noastre arată că [LPU-urile] sunt mai eficiente la putere.”

Utilizarea LPU-urilor rămâne să fie implementată de mulți dintre dezvoltatorii majori din spațiu. Heaps a spus că mai mulți factori au ca rezultat acest lucru, dintre care unul fiind "explozia LLM-urilor” relativ nouă din ultimul an..

"Oamenii încă mai doreau o soluție unică, cum ar fi un GPU, pe care să o poată folosi atât pentru antrenament, cât și pentru inferență.Acum, piața emergentă a forțat oamenii să găsească diferențiere și o soluție generală nu îi va ajuta să realizeze asta.”

Pe lângă produsul în sine, Heaps a atins și elefantul din cameră – numele "Groq”.

Groq a fost creat în 2016 cu numele înregistrat la scurt timp după.Cu toate acestea, chatbot-ul lui Elon Musk, Grok, a apărut doar pe scena din noiembrie 2023, devenind recunoscută pe scară largă în spațiul AI într-un timp scurt.

Heaps a spus că au existat "fani Elon” care au presupus că au încercat "să-și ia numele” sau că a fost un fel de strategie de marketing.Cu toate acestea, odată ce istoria companiei a devenit cunoscută, el a spus, "atunci oamenii [au] un pic mai liniștiți.”

"A fost o provocare în urmă cu câteva luni, când LLM-ul lor primea multă presă, dar acum cred că oamenii iau în seamă Groq, cu un Q.”em>