22:18 2023-03-21
it - citeste alte articole pe aceeasi tema
Comentarii Adauga Comentariu
_ Nvidia aduce înapoi GPU-ul dual... pentru centrele de date
Nvidia a anunțat un nou produs cu două GPU, H100 NVL, în timpul
Este o schimbare interesantă de ritm, aparent pentru a găzdui servere care nu acceptă opțiunea SXM a Nvidia, cu accent pe performanța de inferență mai degrabă decât pe antrenament.Conexiunile NVLink ar trebui să ajute la furnizarea lățimii de bandă lipsă pe care NVSwitch o oferă soluțiilor SXM și există și alte diferențe notabile.
Luați specificațiile.Soluțiile H100 anterioare – atât SXM, cât și PCIe – au venit cu 80 GB de memorie HBM3, dar pachetul real conține șase stive, fiecare cu 16 GB de memorie.Nu este clar dacă o stivă este complet dezactivată sau dacă este pentru ECC sau pentru alt scop.Ceea ce știm este că H100 NVL va veni cu 94 GB per GPU și 188 GB HBM3 în total.Presupunem că cei 2 GB "lipsă” per GPU sunt acum pentru ECC.
Puterea este puțin mai mare decât H100 PCIe, la 350–400 de wați per GPU configurabil, o creștere de 50W.Între timp, performanța totală ajunge să fie efectiv dublă față de cea a lui H100 SXM: 134 teraflopi FP64, 1.979 teraflopii TF32 și 7.916 teraflopii FP8 precum și 7.916 teraflopii INT8.
Practic, acesta arată ca același design de bază al H100 PCIe, care acceptă și NVLink, dar potențial acum cu mai multe nuclee GPU activate și cu 17,5% mai multă memorie.Lățimea de bandă a memoriei este, de asemenea, destul de mai mare decât H100 PCIe, la 3,9 TB/s per GPU și un 7,8 TB/s combinat față de 2 TB/s pentru H100 PCIe și 3,35 TB/s pe H100 SXM.
Deoarece aceasta este o soluție cu două carduri, fiecare card ocupând un spațiu cu 2 sloturi, Nvidia acceptă doar 2 până la 4 perechi de carduri H100 NVL pentru sistemele partenere și certificate.Cât ar costa o singură pereche și vor putea fi achiziționate separat? Rămâne de văzut, deși uneori poate fi găsit un singur PCIe H100 pentru
_ Nvidia aduce înapoi GPU-ul dual... pentru centrele de date
Comentarii:
Adauga Comentariu