18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Scandal de proporții - Un fost subprefect, acuzat că a dat o țeapă cu 50 de apartamente vândute de mai multe ori

_ Copil în stare critică la spital după ce a fost grav rănit de un câine de companie în casa familiei ei

_ Doi ani de război: Palatul Victoria va fi iluminat sâmbătă seara în culorile drapelului ucrainean

_ PENNY MORDAUNT: Marea Britanie are nevoie de propriul Dom de Fier, la fel ca Israelul - pentru a se putea proteja de dronele și rachetele lui Putin și Teheran

_ Câștigătoarea Takeaway de sâmbătă seara a rămas devastată, deoarece câinele paralizat este INTERZIS din vacanța în familie pe care a câștigat-o în emisiunea: „Aceasta este o discriminare efectivă împotriva câinelui meu cu dizabilități”

_ Putin avertizează că vor fi folosite arme nucleare dacă independența sau suveranitatea Rusiei este amenințată

_ Bebelușii alăptați au mai puține șanse să li se administreze tratamente înainte de 1-a aniversare, susține un studiu

_ Degradarea perechii de pete solare elucidează proprietățile caracteristicilor magnetice în mișcare din apropiere

_ Locuitori ai Insulelor Canare ies la protest. Oamenii cer limitarea numărului de turişti

_ Solidaritate până la un punct: Polonia lasă garda jos și ridică toate blocajele la frontiera cu Ucraina / Embargoul cerealelor rămâne, însă, în vigoare

_ Fed-ul SUA a împărțit riscul de reducere a dobânzilor prea devreme: minute

_ BepiColombo detectează scăparea de oxigen și carbon în regiunea neexplorată a magnetosferei lui Venus

_ HiSky poate începe operarea zborurilor regulate către Canada

_ Susținătorii lui Trump aliniază strada din Rochester, Pennsylvania pentru a-i saluta pe Kamala Harris și Tim Walz în turul lor cu autobuzul (VIDEO)

_ Atenționare de avalanșă în Munții Rodnei și Munții Maramureșului

_ Fostul AG Bill Barr �NCHIDE 3 investigații privind FRAUDA ELECTORALĂ 2020 | Dincolo de titluri

_ VIDEO Sindicatul Polițiștilor din Dolj îi face public campanie lui Călin Georgescu. Statutul Polițistului interzice propaganda politică

_ Rușii îl caută acum pe fratele lui Navalnîi: a dispărut fără urmă, după ce a scăpat din pușcărie

_ EXPUS: Identitatea bombardierului J6 DEscoperit de FBI?! | Top 5 al lui Elijah Schaffer (VIDEO)

_ Martha Stewart stârnește îngrijorare după ce a dezvăluit că folosește același creion de ochi lichid de 20 de ani

_ De Rossi va rămâne antrenorul romilor „în viitorul previzibil”

Soroșiștii Securistoizii de la Digi îl numesc pe Călin Georgescu, "Fostul Candidat Extremist Pro-Rus". Călin Georgescu este câștigătorul alegerilor prezidentiale.

_ Captură de zeci de kilograme de droguri ridicate şi sume mari de bani indisponibilizate în ultimele două săptămâni

_ Anarhia relațiilor înseamnă crearea de legături care se potrivesc oamenilor, nu convențiilor sociale

_ Simona Amânar: Toată lumea vrea o medalie olimpică la gimnastică, avem şanse

_ Creșterea salariului minim? Studiul care utilizează datele fiscale din SUA găsește mai mult câștig decât durere

_ Conservarea urșilor grizzly ține la fel de mult de relațiile umane, cât și de animale

_ Șefii FTSE 100 susțin că sunt dificili în comparație cu statele. Dar analiza noastră sugerează o poveste foarte diferită: șefii britanici sunt într-adevăr prost plătiți?

_ Argentinianul Gabriel Milito, noul antrenor al echipei braziliene Atletico Mineiro

_ Acțiunile UBS alunecă pe măsură ce câștigurile Miss întunecă perspectiva; CEO-ul avertizează că 2024 va fi „pivotal”

_ Forța SUA pentru o „NATO din Orientul Mijlociu” nu a reușit să apară în timpul atacurilor Iranului

_ Superman la supertatic! Henry Cavill dezvăluie că așteaptă primul copil cu iubita Natalie Viscuso: „Sunt foarte încântat de asta”

_ Moment utilizator de scaun cu rotile, în vârstă de 29 de ani, se târăște pe scări de la stația London Overground pe fundul ei din cauza lifturilor sparte - în timp ce personalul este auzit „râzând” când i se spune că este reparat chiar când ajunge sus

_ O densitate mai mare de viață schimbă modul în care funcționează cartierele din Canada

_ Ion Tiriac: Tiriac Open - best ATP 250 tournament Romania has ever had

_ Democratul din California prezintă un proiect de lege care interzice �temele excesive�

_ Baschetbaliștii de la Paris Basketball au câştigat BKT EuroCup, competiţie în care U BT Cluj a ajuns până în sferturi

_ Președintele Poloniei devine ultimul lider care îl vizitează pe Donald Trump

_ Non-resident visitor spending in Romania at RON 2,675 per person in 2023

_ Ion Cristoiu: Cînd industria poate fi poetică

_ Judecătorul neagă tentativa lui Hunter Biden de a renunța la acuzațiile federale privind armele pentru că a mințit că se droghează atunci când și-a cumpărat o armă de foc - deoarece fiul președintelui riscă până la 25 de ani de închisoare

_ „A devenit desensibilizat la actele violente”: o femeie spune că obiceiul porno al partenerului le-a distrus relația – și chiar i-a spus să „facă sex cu altcineva” pentru a-l ajuta să nu mai vizioneze.

_ Vestul Sălbatic al Marii Britanii: un tâlhar cu glugă țipă la casier „deschide dracu’ până acum” - înainte de a pleca cu doar 50 de lire sterline

_ Observați începutul administrației Biden...

_ Barbra Streisand va lansa un nou single pentru serialul "The Tattooist of Auschwitz" difuzat pe SkyShowtime

_ David Coote rupe tăcerea după ce au apărut acuzații că ar fi discutat despre rezervarea unui jucător cu un fan înainte de un meci din 2019 - în timp ce arbitrul suspendat emite o declarație pe fondul investigației FA

_ Met Gala 2024: Rita Ora este dezbrăcată în body cu ciucuri abia acolo, în timp ce vedeta îndrăzneață li se alătură Dua Lipa, Naomi Campbell, Cara Delevingne și Lily James, conducând frumusețile britanice la o întâlnire de top.

_ Ciclonul Pauline lovește cu putere România: Meteorologii anunță ninsori abundente și vreme geroasă

_ NASA dezvăluie o sondă destinată Europei, luna lui Jupiter, pentru a căuta „condiții pentru viață”

_ Profesor de școală primară, în vârstă de 50 de ani, s-a prefăcut că are COVID după ce și-a ucis iubitul înșelat în timpul unui joc sexual - și a folosit 10 zile de izolare de „boală” pentru a-l îngropa în curtea din spate

_ Evoluţii financiar-bancare şi bursiere la nivel mondial

_ Ana-Maria Vătămanu (ADDJC): în maxim doi ani, constănțenii și turiștii vor avea două rute noi pe care le vor putea folosi pentru a ajunge în Sudul litoralului

_ Fostul președinte al Braziliei, Bolsonaro, a predat pașaportul în cadrul anchetei poliției privind „tentativă de lovitură de stat”

_ Avarie în Bucureşti: Aproximativ 100 de blocuri nu au apă caldă până duminică

_ Crufts 2024: cea mai prestigioasă expoziție canină din lume începe când câinii și proprietarii lor fac o sosire foarte elegantă în prima zi a competiției

_ Aproape 40.000 de tone de deşeuri electronice au fost colectate de Environ anul trecut

_ Bunicul „care și-a drogat soția astfel încât 83 de străini pe care i-a întâlnit online ar putea-o viola” va fi în fața justiției într-un centru de expoziții transformat din cauza numărului mare de presupuși violatori care vor fi interogați

_ Femeie, 20 de ani, „în șoc” când a aflat că este însărcinată cu cvadrupleți după ce a mers la medic pentru o durere în gât

_ Sunt o mamă singură și mi-am dus băieții la Paris pentru o zi pentru că a costat cu 100 de lire sterline mai puțin decât Legoland Windsor

_ Alan Dershowitz o critică pe Letitia James pentru acuzarea lui Trump: „Ar trebui să fie adus în fața baroului” (VIDEO)


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5

Nr. de articole la aceasta sectiune: 276, afisate in 5 pagini.