20:52
Comentarii Adauga Comentariu

_ Groq AI's LPU: Răspunsul inovator la problemele GPU-ului ChatGPT?

LPU-ul Groq AI: răspunsul inovator la problemele GPU-ului ChatGPT?

Scris de Savannah Fortis prin CoinTelegraph.com,

Cipul LPU al lui Groq apare ca o soluție potențială la provocările cu care se confruntă dezvoltatorii de inteligență artificială care se bazează pe GPU, stârnind comparații cu ChatGPT.

>

Cel mai recent instrument de inteligență artificială AI pentru a capta atenția publicului este Groq LPU Inference Engine, care a devenit o senzație peste noapte pe rețelele sociale după testele sale de referință publice a devenit viral, depășind modelele de top de alte companii Big Tech.

Groq, care nu trebuie confundat cu modelul AI al lui Elon Musk numit Grok, nu este, de fapt, un model în sine, ci un sistem de cipuri prin care un model poate rula.

Echipa din spatele Groq și-a dezvoltat propriul cip AI "definit de software”, pe care l-a numit o unitate de procesare a limbajului LPU, dezvoltat în scopuri de inferență.LPU-ul îi permite lui Groq să genereze aproximativ 500 de jetoane pe secundă.

În comparație, modelul AI disponibil public ChatGPT-3.5, care funcționează cu unități de procesare grafică GPU rare și costisitoare, poate genera aproximativ 40 de jetoane pe secundă.Comparațiile dintre Groq și alte sisteme AI au inundat platforma X.

Cointelegraph a auzit de la Mark Heaps, evanghelistul șef la Groq, pentru a înțelege mai bine instrumentul și modul în care acesta poate transforma modul în care funcționează sistemele AI.

Heaps a spus că fondatorul Groq, Jonathan Ross, a vrut inițial să creeze o tehnologie de sistem care să împiedice AI să fie "împărțit între cei care au și cei care nu au”.

La vremea respectivă, unitățile de procesare a tensorului TPU erau disponibile pentru Google numai pentru propriile sisteme, totuși, LPU-urile s-au născut deoarece:

"[Ross] și echipa doreau ca oricine din lume să poată accesa acest nivel de calcul pentru AI pentru a găsi noi soluții inovatoare pentru lume.”

Directorul Groq a explicat că LPU este o "soluție hardware proiectată mai întâi de software”, prin care natura designului simplifică modul în care datele circulă – nu numai pe cip, ci de la cip la cip și în întreaga rețea.

"Fără nevoie de programatori, biblioteci CUDA, kerneluri și altele îmbunătățește nu numai performanța, ci și experiența dezvoltatorului”, a spus el.

"Imaginați-vă că faceți naveta la serviciu și fiecare semafor roșu devine verde în timp ce ați lovit-o pentru că știa când veți fi acolo.Sau adevărul este că nu ai avea nevoie deloc de semafoare.Așa este când datele călătoresc prin LPU-ul nostru.”

O problemă actuală care afectează dezvoltatorii din industrie este deficitul și costul GPU-urilor puternice, cum ar fi Chipurile Nvidia A100 și H100 — necesare pentru a rula modele AI.

Cu toate acestea, Heaps a spus că nu au aceleași probleme deoarece cipul lor este fabricat folosind siliciu de 14 nm."Această dimensiune a matriței a fost folosită timp de 10 ani în designul de cipuri”, a spus el, "și este foarte accesibilă și ușor disponibilă.Următorul nostru cip va fi de 4 nm și va fi fabricat și în Statele Unite.”

El a spus că sistemele GPU au încă un loc atunci când vorbește despre rularea implementărilor hardware la scară mai mică.Cu toate acestea, alegerea dintre GPU și LPU se reduce la mai mulți factori, inclusiv volumul de lucru și modelul.

"Dacă vorbim de un sistem la scară largă, care deservește mii de utilizatori cu o utilizare ridicată a unui model de limbă mare, cifrele noastre arată că [LPU-urile] sunt mai eficiente la putere.”

Utilizarea LPU-urilor rămâne să fie implementată de mulți dintre dezvoltatorii majori din spațiu. Heaps a spus că mai mulți factori au ca rezultat acest lucru, dintre care unul fiind "explozia LLM-urilor” relativ nouă din ultimul an..

"Oamenii încă mai doreau o soluție unică, cum ar fi un GPU, pe care să o poată folosi atât pentru antrenament, cât și pentru inferență.Acum, piața emergentă a forțat oamenii să găsească diferențiere și o soluție generală nu îi va ajuta să realizeze asta.”

Pe lângă produsul în sine, Heaps a atins și elefantul din cameră – numele "Groq”.

Groq a fost creat în 2016 cu numele înregistrat la scurt timp după.Cu toate acestea, chatbot-ul lui Elon Musk, Grok, a apărut doar pe scena din noiembrie 2023, devenind recunoscută pe scară largă în spațiul AI într-un timp scurt.

Heaps a spus că au existat "fani Elon” care au presupus că au încercat "să-și ia numele” sau că a fost un fel de strategie de marketing.Cu toate acestea, odată ce istoria companiei a devenit cunoscută, el a spus, "atunci oamenii [au] un pic mai liniștiți.”

"A fost o provocare în urmă cu câteva luni, când LLM-ul lor primea multă presă, dar acum cred că oamenii iau în seamă Groq, cu un Q.”em>
Joi, 22.02.2024-14:45

_ Groq AI's LPU: Răspunsul inovator la problemele GPU-ului ChatGPT?


(Fluierul)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Predicții Premiile Oscar 2025. Producțiile care ar putea câștiga anul viitor trofeul

_ Turist, 30 de ani, ucis pe loc într-un accident ciudat, după ce a fost lovit în cap de sunetul clopotului bisericii, în tradiția spaniolă

_ Regimul iranian brutal trimite poliție morală pe străzile Iranului � pentru a ataca cetățenii iranieni și protestatarii după atacurile iraniene asupra Israelului � VIDEO

_ Ultimele știri despre atacul cu drone al Iranului: Israelul se pregătește pentru un asalt aerian uriaș după ce Teheranul a lansat 100 de avioane kamikaze și rachete spre Tel Aviv

_ VIDEO arată panică �n masă �n interiorul Israelului după atacurile iraniene cu rachete și drone

_ Ucigașul de cuțit din Sydney este demascat: un bărbat, în vârstă de 40 de ani, care suferă de probleme de sănătate mintală, s-a aflat în spatele unui înjunghiere oribil care a dus la moartea a șase persoane - înainte ca polițistul erou să-l împușcă.

_ Reacţia Germaniei după ce Iranul a atacat Israelul

_ Pe măsură ce rachetele cad asupra Israelului, Iranul spune că represaliile sunt „încheiate” și avertizează SUA să „stea departe”

_ Cum va răspunde Israelul la atacul Iranului. Expert: "Nu mai există linii roşii"

_ Atacul cu dronă al Iranului REZUMAT: Israelul se pregătește pentru un asalt aerian uriaș după ce Teheranul a lansat 100 de avioane kamikaze și rachete spre Tel Aviv

_ Sezonul Wembanyama s-a încheiat după o accidentare la gleznă: Spurs

_ Costul ascuns al progresismului, Partea I

_ Exodul continuă: regiunile albastre încă sângerează în timp ce rezidenții scapă de politicile democrate

_ Studiul CDC nu „desființează” legătura dintre vaccinurile COVID-19 și decesele subite

_ Președintele Colegiului Medicilor București dorește ca verificările în cazul de la Spitalul Sfântul Pantelimon să fie cât mai rapid încheiate

_ (VIDEO) Directorul FBI, Chris Wray, se �ndepărtează de jurnalistul �ntreb�nd dacă dorește ca Congresul să reautorizeze FISA să spioneze din nou campania lui Trump

_ Medicii israelieni încearcă să salveze un băiat de doar 10 ani, victimă a atacului iranian

_ Harta terifiantă dezvăluie ruta pe care o va lua forța de atac a Iranului, formată din 100 de drone kamikaze, pentru a lovi Israelul

_ Desene misterioase ale oamenilor preistorici, găsite lângă urmele de pași ale dinozaurilor

_ Billie Jean King Cup: Ucraina – România 2-2, după ce Jaqueline Cristian a învins-o pe Tsurenko

_ Harta terifiantă dezvăluie ruta pe care o va lua forța de atac a Iranului, formată din 100 de drone kamikaze, pentru a lovi Israelul

_ Ucigașul de cuțit din Sydney este demascat: un bărbat, în vârstă de 40 de ani, care suferă de probleme de sănătate mintală, s-a aflat în spatele unui înjunghiere oribil care a dus la moartea a șase persoane - înainte ca polițistul erou să-l împușcă.

_ Iron Dome �n acțiune: sistemul de apărare al Israelului �ncepe să doboare drone iraniene sinucigașe peste Ierusalim

_ Prima reacţie a lui Joe Biden după ce Iranul a atacat Israelul

_ Ultimele știri despre atacul cu drone al Iranului: Israelul se pregătește pentru un asalt aerian uriaș după ce Teheranul a lansat 100 de avioane kamikaze și rachete spre Tel Aviv

_ Dronele kamikaze mortale ale Iranului sosesc la Ierusalim: Sirenele auzite prin oraș în timp ce Israelul trage rachete pentru a intercepta bombardamentele aeriene - cu explozii văzute luminând cerul

_ Prințul Harry arată relaxat în timp ce face o altă cameo în lumea elegantă a poloului - cu o echipă de filmare de zeci de Netflix în urma

_ Momentul Meghan Markle îi cere femeii să nu pozeze lângă Prințul Harry pentru fotografia de decernare a premiilor Polo - și îi lasă pe fanul regal să stea lângă ea

_ Britanicii şi americanii doboră drone iraniene ce atacă Israelul. Avioanele au decolat din bazele din regiune

_ DEZVOLTARE: Alarmele răsună la Ambasada SUA din Erbil, Irak, pe fondul exploziilor din apropierea locurilor diplomatice și ale coaliției

_ Royal Marines sunt gata să conducă evacuarea „în stil Dunkirk” a britanicilor care trăiesc în Orientul Mijlociu, după ce Iranul a lansat un atac masiv cu drone și rachete împotriva Israelului

_ Hamas refuză să elibereze ostatici sau cadavrele morților

_ PRIMA UITARE: Pe măsură ce Laura Ashley se relansează, cum se confruntă cu perioada de glorie de epocă?

_ Campioana olimpică feminină la triplu săritură, Rojas, este accidentată și nu participă la Jocurile de la Paris

_ Incendiu într-un bloc din Bucureşti. O persoană a murit, altele primesc îngrijiri medicale

_ VIDEO La doar 18 ani a doborât recordul mondial de viteză la escaladă de două ori într-o oră

_ Emil Boc își anunță sâmbătă candidatura pentru un nou mandat de primar la Cluj-Napoca

_ Teoriile care explică criza din democrație sunt inadecvate pentru America Latină, spun experții

_ UPDATE: Iranul lansează un atac cu rachete asupra Israelului după atacul cu drone Kamikaze � Comandantul Centcom părăsește Israelul, Joe Biden se �ntoarce la Washington � IDF emite declarație

_ Aproape 100.000 de oameni au fugit din capitala haitiană din martie din cauza violenței bandelor, spune ONU

_ Biden plănuiește eforturi mari pentru a bloca forajele petroliere în Arctic

_ Monarhiile arabe din Golf au cerut imperativ Statelor Unite să nu atace Iranul de pe baze aflate pe teritoriul lor (surse)

_ BREAKING Avion turcesc, aterizare de urgență pe Aeroportul Otopeni / Alertă cu bombă

_ CARTEA DE CURSĂ REFUSĂ: �Mad Maxine� este supărată după HĂRȚUIRE �ncurajatoare | Dincolo de titluri

_ Proprietarii Crooked House sunt de acord să reconstruiască cel mai ciudat pub din Marea Britanie după ce a ars - dar numai dacă îl pot muta într-un alt loc

_ Pasagerii furiosi de la British Airways atacă o companie aeriană „incompetentă” în timp ce zborurile au fost abandonate, distrugându-le planurile de weekend – inclusiv o lună de miere și o împlinire a 50 de ani

_ Roberto Cavalli a murit: legendarul design de modă italian, în valoare de 400 de milioane de lire sterline, moare la vârsta de 83 de ani, după o lungă luptă cu boala

_ Crema recoltei! Cei mai străluciți participanți la curse din Grand National sunt încoronați la Style Awards la Aintree - inclusiv un gong pentru cei mai îmbrăcați în mod sustenabil

_ Migrant afgan aflat pe lista terorismului publicat de judecătorul de imigrare, liber să cutreiere SUA

_ YouTuber împărtășește cum câștigă o avere completând cereri de dizabilități pentru 650 de lire sterline pe pop - întrucât se laudă că „a pierdut o singură cerere în șase ani”

_ Un criminal din Galați, proaspăt eliberat, la un pas de dezastru: a atacat casa vecinului cu cocktailuri Molotov

_ Lovitură în județul Buzău: Primarul şi viceprimarul unei comune, plasaţi sub control judiciar

_ Italia va recruta lucrători migranţi din Liban, Coasta de Fildeş şi Etiopia

_ Cazul câștigurilor de petrol într-un weekend câștigă din nou pe fondul freneții de apeluri Brent de 100 USD

_ Forțele americane interceptează drone iraniene care vizează Israelul într-o operațiune de apărare aeriană cu miză mare

_ Un model de promovare a coordonării între protecția mediului și dezvoltarea agriculturii în Lacul Erhai

_ Republica Moldova a suspendat Tratatul cu privire la forțele armate convenționale în Europa

_ Poștașii vor aduce mâncare în loc de pensii și corespondență: Se pregătește o schimbare drastică într-o țară europeană

_ RUPTĂ: Iranul susține că acțiunea militară �mpotriva Israelului s-a �ncheiat � emite un avertisment dur pentru SUA și Israel

_ Ce ne rezervă viitorul Coastei Jurasice? Preocupările cresc după ce a doua cădere de pietre în 48 de ore provoacă pericole pentru turişti - dar experţii pledează împotriva introducerii de bariere „inestetice”


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13

Nr. de articole la aceasta sectiune: 735, afisate in 13 pagini.