18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Alexandru Pânişoară (PER): Sistemul de termoficare al Bucureştiului trebuie descentralizat şi trebuie implementate soluţii verzi

_ Tot ce poate merge prost cu sânii tăi - și ce să faci în privința asta: ghidul definitiv al DR PHILIPPA KAYE

Serviciile de Informații Ruse afirmă că în România, UE e cea care a pus la cale Lovitura de Stat, indicând Regimului de la București să anuleze Alegerile și că acum au cerut să i se interzică lui Georgescu sa participe la Alegerile din Mai

Ce este o Lovitură de Stat? A fost împiedecat Călin Georgescu să devină duminică seara pe 6 Decembrie 2024, Președintele României, printr-o lovitură de stat?

_ DEZVOLTARE: SUA oprește finanțarea agenției ONU �n urma acuzațiilor de implicare a angajaților �n masacrul din Israel din 7 octombrie

Cum și de ce a fost recrutat Friedrich Merz de Black Rock

_ Lucrător IT „care și-a ucis șeful milionar și soțul ei otrăvindu-i cu fentanil” a spus poliției că este predispusă la supradoze.

_ Fiica unul stomatolog din București a fost agresată sexual în timp ce alerga prin Timișoara: Atacul s-a petrecut lângă o secție de poliție

_ Alertă de securitate în România: un nou tip de fraudă se răspândește rapid

_ Madonna îl îmbrățișează pe iubitul fără cămașă, Akeem Morris, în vârstă de 28 de ani, și se zvârcește în lenjerie intimă în timp ce își aniversează 66 de ani

_ Mandate de cinci ani pentru aleşii locali, propunere legislativă depusă în Parlament

Prăbușirea criptomonedelor TerraUS și LUNA s-a datorat unui grup restrâns de speculanți care au pariat "short"

_ Cei mai în vârstă gemeni siamezi, Lori şi George Schappell, s-au stins la vârsta de 62 de ani

_ 'Era un bărbat de doamne!' Cum era cu adevărat vedeta Baby Reindeer

_ Fotbalul poate fi crud, a afirmat selecţionerul Africii de Sud după eliminarea de la Cupa Africii pe Naţiuni

_ Cum valurile și amestecul determină sistemele de revărsare de coastă

_ Am păzit unii dintre cei mai cunoscuți prizonieri ai Marii Britanii - de aceea este GREȘIT să-l țin pe „Hannibal Canibalul” Robert Maudsley închis într-o temniță de sticlă

_ Spectroscopia Operando oferă o fereastră asupra oxidării apei

_ De ce americanii nu văd o economie puternică

_ HORROR: Un american și frați australieni uciși �n timpul unei călătorii de surf �n Mexic, hoții �și aruncă trupurile �ntr-o f�nt�nă ad�ncă de 50 de picioare

_ A început Carnavalul de la Veneţia, cu o tematică dedicată lui Marco Polo

_ Creșterea toleranței la căldură la gazonul de sezon rece

_ WOW! Joe Biden este �ntr-o formă at�t de proastă �nc�t primarul Los Angeles-ului, Karen Bass, intervine și răspunde la �ntrebări �n numele său (VIDEO)

_ Primul genom complet al unui șarpe ajută la înțelegerea istoriei sale evolutive

_ Biden spune că japonezii vor fi primul non-american pe lună

_ UE îşi propune să lanseze o misiune navală în Marea Roşie până la jumătatea lunii februarie

Nimeni nu e mai presus de Lege. Nici măcar Curtean Constituțională

Romania - Numărul de Profesori la Numărul de Elevi

_ Creșterea trișorilor microbieni în medii limitate de fier: Studiul dezvăluie istoria lor evolutivă

_ Programele de transformare au şanse de reuşită de 12 ori mai mari prin concentrarea pe factorul uman

_ Supărare mare - se anunța o lansare cu scântei a candidaților USR

_ Gigi Becali se teme de Ion Ţiriac! Nu mai are nicio şansă în faţa magnatului. Îi va lua faţa imediat

_ Politica de predare a cuțitului zombi de la Labor, care oferea compensații pentru lamele avea „defecte uriașe” și putea costa până la 1,1 MILIOANE de lire sterline

Prăbușirea demografică a României se datorează în integralitatea partidelor sistemului care au condus România 35 de ani

_ Ciucă, replică pentru Ciolacu după ce premierul a ironizat județul condus de Gheorghe Flutur: PNL a arătat că este partidul cu cei mai eficienţi aleși locali

_ Urmăriți: KJP �ncearcă să-l �nchidă pe Peter Doocy de la Fox pentru că l-a �ntrebat de ce Biden vorbește cu oamenii morți

_ Gavin Newsom spune că democrații trebuie să fie îngrijorați de candidații terților în 2024 (VIDEO)

_ Papa Francisc va vizita câteva țări din Asia

_ Suferă de accident vascular cerebral, 43 de ani, s-a trezit din comă de cinci săptămâni la terapie intensivă și a constatat că fusese evacuată din casă și toate bunurile i-au fost aruncate.

_ Școlile închise, avertismente emise pe măsură ce Asia se înăbușește într-un val de căldură extrem

_ Cele mai frumoase mesaje de „la mulţi ani” de Sfântul Gheorghe. Ce nume sărbătoresc ziua onomastică, pe 23 aprilie

_ De ce programe de slăbit foarte utile în cazul unora, eșuează lamentabil la alții?

_ Iarna continuă să le dea bătăi de cap șoferilor: Se circulă în condiții dificile pe mai multe drumuri din 7 județe

_ Marea Britanie nu mai este destinaţia favorită a investitorilor hotelieri: Spania este noua perlă

_ Video | Accident teribil în Constanța. Sunt doi morți

_ Bucătarul celebru Thomas Straker dezvăluie că Rolex-ul său a fost furat în timpul unei sesiuni de exerciții în aer liber: „Hotul este al naibii de groaznic”

_ Studentă suspendată după ce protestul anti-Israel s-a pl�ns că se confruntă cu consecințe pentru acțiunile ei

_ Războiul din Ucraina, ziua 701. Reuniune a Consiliului de Securitate al ONU pentru a discuta despre avionul rusesc doborât

_ Un virus extrem de contagios, care provoacă vărsături, se răspândește masiv în Marea Britanie

Securistoidul Pantazi un analfabet funcțional în domeniul economiei declara ritos că "distributivismul este baza marxismului". Mai dobitocule doctrina distributivista a fost creata de un Papă si dezvoltata de un alt Papă

_ Femeie grav rănită după ce a fost atacată de câinele ei de talie mare, în curtea casei

_ Zelenski s-a dus la Roma și a intrat direct în război cu politicienii din Italia

Prăbușirea Apple demonstrează că a te gudura pe lângă Trump nu este o garanție a siguranței

_ Mircea Fechet: Programul Rabla Plus are un buget record, de un miliard de lei

_ Stocurile de apărare Palantir au crescut cu 3.000 la sută și sunt prezentate drept o mină de aur. Dar înainte de a cumpăra, citiți această FOARTE perspicactivă scufundare aprofundată de la expertul în investiții ANNE ASHWORTH...

_ Decizie controversată în Israel: Parlamentul interzice postul Al Jazeera

_ Experiență vizuală într-un spațiu domestic pompeian: analiză folosind urmărirea ochilor bazată pe realitate virtuală și GIS

Nicușor SOROS Dan insinuează că și Georgescu trebuie interzis : "Hotararea Curții Constitutionale in cazul Sosoaca e legitima jutidic" Sa mori tu, neobolsevicule? Este cea mai odioasă interzicere din istoria României Moderne după cea a anulării alegerilor

_ În Canada încep discuțiile despre tratatul global despre plastic

_ Dezvăluirea iconografiei lămpii etrusce din Cortona, Italia


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45 Pag.46 Pag.47
Pag.48 Pag.49 Pag.50 Pag.51 Pag.52 Pag.53 Pag.54 Pag.55
Pag.56 Pag.57 Pag.58 Pag.59 Pag.60 Pag.61 Pag.62 Pag.63
Pag.64 Pag.65 Pag.66 Pag.67 Pag.68 Pag.69 Pag.70 Pag.71
Pag.72 Pag.73 Pag.74 Pag.75 Pag.76 Pag.77 Pag.78 Pag.79
Pag.80 Pag.81 Pag.82 Pag.83 Pag.84 Pag.85 Pag.86 Pag.87
Pag.88 Pag.89 Pag.90 Pag.91 Pag.92 Pag.93 Pag.94 Pag.95
Pag.96 Pag.97 Pag.98 Pag.99 Pag.100 Pag.101

Nr. de articole la aceasta sectiune: 6016, afisate in 101 pagini.