18:35
Comentarii Adauga Comentariu

Queen 2.5


Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen 2.5 - 19 septembrie 2024

Qwen 2.5

Data: 19 septembrie 2024

În acest blog, explorăm detaliile noilor modele de limbaj din seria Qwen2.5 dezvoltate de Alibaba Cloud Dev Team. Echipa a creat o gamă de modele dense numai pentru decodor, șapte dintre ele fiind open-source, variind de la 0,5B la 72B parametri. Cercetările arată un interes semnificativ al utilizatorilor pentru modelele din intervalul de parametri 10-30B pentru utilizare în producție, precum și modelele 3B pentru aplicații mobile. Pentru a răspunde acestor nevoi, echipa are Qwen2.5-3B, Qwen2.5-14B și Qwen2.5-32B cu sursă deschisă. În plus, modele precum Qwen-Plus și Qwen-Turbo sunt disponibile prin serviciile API din Alibaba Cloud Model Studio.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă, Qwen2.5 își extinde ofertele open-source dincolo de cele patru modele Qwen2 (0,5B, 1,5B, 7B și 72B). Acesta adaugă două modele de dimensiuni medii rentabile — Qwen2.5-14B și Qwen2.5-32B — precum și Qwen2.5-3B optimizat pentru mobil. Aceste modele sunt extrem de competitive, Qwen2.5-32B depășind Qwen2-72B și Qwen2.5-14B depășind Qwen2-57B-A14B în evaluări cuprinzătoare.
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ, crescând de la 7 trilioane de jetoane la 18 trilioane de jetoane, sporind profunzimea de antrenament a modelului.
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri. De exemplu, scorurile MMLU pentru Qwen2.5-7B și Qwen2.5-72B au crescut la 74.2 și 86.1, comparativ cu 70.3 și 84.2 pentru modelele Qwen2, cu câștiguri substanțiale observate și în benchmark-uri precum GPQA, MMLU-Pro, MMLU-redux și ARC-c.
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ datorită progreselor în Qwen2.5-Coder. Qwen2.5-72B-Instruct îl depășește pe predecesorul său pe LiveCodeBench, MultiPL-E și MBPP, cu scoruri de 55,5, 75,1 și, respectiv, 88,2, față de 32,2, 69,2 și 80,2 pentru Qwen2-72B-Instruct.
  • Îmbunătățirea matematică: Abilitatea matematică a lui Qwen2.5 a cunoscut, de asemenea, o îmbunătățire rapidă, cu scorurile la benchmarkul MATH crescând de la 52,9 și 69,0 pentru Qwen2-7B/72B-Instruct la 75,5 și 83,1 pentru modelele Qwen2.5.
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane. De exemplu, scorul Arena-Hard pentru Qwen2.5-72B-Instruct a crescut de la 48.1 la 81.2, iar scorul MT-Bench s-a îmbunătățit de la 9.12 la 9.35, comparativ cu Qwen2-72B-Instruct.
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor, generarea de text lung (extinderea de la 1K la peste 8K jetoane), înțelegerea datelor structurate și producerea de rezultate structurate precum JSON. De asemenea, demonstrează o rezistență îmbunătățită la diverse solicitări ale sistemului, îmbunătățind jocul de rol și setarea condițiilor pentru chatbot.

Performanță și comparații

Performanță Qwen2.5-72B

Seturi de date Llama-3-70B Mixtral-8x22B Qwen2-72B Qwen2.5-72B
MMLU 79,5 77,8 84,2 86,1
MATH 42.5 41.7 50.9 62.1
HumanEval 48,2 46,3 64,6 59,1
MBPP 70,4 71,7 76,9 84,7

Concluzie

Modelele Qwen2.5 demonstrează un salt major față de generațiile anterioare și excelează în multiple domenii.

Qwen2.5 vs Qwen2

Seria Qwen2.5 aduce mai multe upgrade-uri cheie în comparație cu seria Qwen2 :

  • Open-source la scară completă: ca răspuns la cererea puternică a utilizatorilor pentru modele din gama 10-30B pentru producție și modele 3B pentru utilizare mobilă...
  • Set de date pre-antrenament mai mare și de calitate mai înaltă: setul de date pre-antrenament s-a extins semnificativ...
  • Îmbunătățirea cunoștințelor: Qwen2.5 demonstrează cunoștințe mai mari în diferite benchmark-uri...
  • Îmbunătățirea codării: capacitățile de codare ale Qwen2.5 s-au îmbunătățit semnificativ...
  • Îmbunătățirea matematică: abilitatea matematică a lui Qwen2.5 a cunoscut o îmbunătățire rapidă...
  • O mai bună aliniere a preferințelor umane: Qwen2.5 generează răspunsuri mai în concordanță cu preferințele umane...
  • Alte îmbunătățiri ale capacității de bază: modelele Qwen2.5 excelează în urmărirea instrucțiunilor...

Card model Qwen2.5

Modele Params Parametrii non-Emb Straturi Capete (KV) Încorporarea cravatei Lungimea contextului Lungimea generației Licenţă
Qwen2.5-0.5B 0,49B 0,36B 24 14 / 2 Da 32K 8K Apache 2.0
Qwen2.5-1.5B 1,54B 1,31B 28 12 / 2 Da 32K 8K Apache 2.0
Qwen2.5-3B 3.09B 2,77B 36 16 / 2 Da 32K 8K Cercetarea Qwen
Qwen2.5-7B 7,61B 6,53B 28 28 / 4 Nu 128K 8K Apache 2.0
Qwen2.5-14B 14.7B 13.1B 48 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-32B 32,5B 31.0B 64 40 / 8 Nu 128K 8K Apache 2.0
Qwen2.5-72B 72,7B 70,0B 80 64 / 8 Nu 128K 8K Qwen

Performanțe Qwen2.5

Performanța modelelor Qwen2.5 este evaluată pe o gamă largă de sarcini, incluzând matematică, codare și multilingvism.

Performanță Qwen2.5-72B

Modelul de bază Qwen2.5-72B iese în evidență prin depășirea semnificativă a altor modele din categoria sa într-un spectru larg de sarcini.

Performanță Qwen2.5-14B/32B

Modelele Qwen2.5-14B și Qwen2.5-32B oferă performanțe robuste în sarcini generale precum MMLU și BBH...

Performanță Qwen2.5-7B

Modelul Qwen2.5-7B depășește atât predecesorii, cât și concurenții săi într-o gamă largă de benchmark-uri.

Concluzii

Modelele Qwen2.5 reprezintă un progres semnificativ, oferind performanțe competitive într-o gamă variată de domenii și fiind optimizate pentru utilizare în aplicații diverse.


(Mediafax)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Raport Colliers: Stocul de spaţii de retail modern din România a depăşit 4,3 mil. mp, 60% în primele 10 mari oraşe din ţară

_ FOTO - O minoră de 14 ani a dispărut din București: Poliţia face apel la cetăţeni

_ Senatul SUA promovează proiectul de lege privind ajutorul pentru Ucraina, Israel și Taiwan, în ciuda opoziției lui Trump

_ Sfânta Lumină va fi adusă sâmbătă de la Ierusalim

_ Agent antibacterian transportat de nanoparticule utilizate pentru tratarea BPOC la șoareci

_ Agresorul polițistului care a intervenit după ce și-a înjunghiat părinții reținut pentru 24 de ore - Va fi dus la instanță pentru arestare preventivă

_ Prințesa Alexandra este văzută pentru prima dată într-un scaun cu rotile - în timp ce participă la un memorial pentru Regele Constantin al Greciei

_ London mayor Khan wins record third term as Tories trounced in local polls

_ Incredibila poveste a unui băiat de 9 ani, lăsat singur de mama sa timp de doi ani. A mers la școală în fiecare zi

_ Temerile cu privire la scăderea natalității în Anglia și Țara Galilor sunt deplasate – populația urmează să crească în anii următori

_ Două persoane au fost arestate preventiv după ce au cultivat canabis într-o casă din Buzău

_ Solidaritatea Sanitara Federation continuing protest schedule

_ Tot ce poate merge prost cu sânii tăi - și ce să faci în privința asta: ghidul definitiv al DR PHILIPPA KAYE

_ România de lumea a treia: Peste 11.000 de români, dintre care jumătate sunt copii, stau în case fără curent electric

_ Seattle Children�s Hospital Withdraws Business from Texas in Response to Investigation Into �Gen�der Tran�si�tion� Treat�ments for Minors

_ Asley Gonzalez, învins în turul secund la turneul Grand Slam de la Antalya

_ Tenerife îi va pălmui pe turişti cu o taxă turistică: taxele urmează să vină din ianuarie - după ce peste 50.000 de locuitori s-au alăturat protestului masiv de stradă împotriva vizitatorilor străini

_ Bursele pentru elevii din învățământul confesional și privat vor fi plătite de Ministerul Educației, inclusiv sumele restante din anul trecut

_ Job-urile următorilor 10 ani. Iată care sunt pariurile sigure

_ Leicester exploatează o lacună imensă în regulile de cheltuieli ale fotbalului pentru a evita pedeapsa în acest sezon, după ce a pretins că este atât un club din Premier League, cât și EFL în ACELAȘI TIMP

_ În interiorul colecției de mașini de 5 milioane de lire sterline a lui James Martin, cu vehicule personalizate, un Ferrari și o mașină de raliu emblematică - găzduite în garaje incredibile pictate manual, la locul său Hampshire

_ Niciun acord comercial cu SUA sub Starmer? Secretarul forței de muncă din umbră elimină speranțele unui acord post-Brexit, chiar dacă Donald Trump va deveni din nou președinte

_ EDEN CONFIDENTIAL: Meghan Markle cheamă un fotograf de top pentru o ședință foto plină de farmec cu Archie și Lilibet

_ Atacul la sala de concerte de la Moscova: ceea ce știm până acum cu privire la numărul morților a crescut la 133 și Putin spune că toți cei patru bărbați înarmați ISIS au fost arestați

_ Zelenski a numit un fost înalt oficial de securitate ambasador în Republica Moldova

_ Pandemic Whisky Boom se transformă în mahmureala

_ Romania - Republic of Moldova Employers' Association for Sustainable Development to be launched on May 16, 2024

_ LIVE TEXT - Iranul a atacat Israelul: Valuri de drone sinucigașe au fost lansate

_ Turist britanic, în vârstă de 30 de ani, este găsit mort într-un apartament de vacanță din Algarve, după ce „prietenul” a sunat la poliție pentru a-i alerta, dar apoi a „dispărut”

_ Protestatarii pro-palestinieni provoacă haos pe Aeroportul Internațional O'Hare

_ IMF revised downwards its Romania 2024 growth estimates

_ Bayern Munchen - Arsenal 1-0 (total 3-2) - Sferturile de finală ale Ligii Campionilor: scor live, știri despre echipă și actualizări, în timp ce Joshua Kimmich îi conduce pe germani în față

_ Fasolea verde românească, preț de infarct în piețe: 'Mai bine o vinde la bucată, să își permită oricine 3-4 păstăi, de poftă'

_ ‘I think there is substantial evidence of the alleged crimes’: Trump in NY court for hush-money trial

_ Nu sunt cel mai bun jucător de snooker din toate timpurile, spune modest Ronnie O'Sullivan

_ Regele secret al crimei al Scoției

_ Va funcționa interzicerea telefonului școlar din Noua Zeelandă? Să vedem ce face pentru curiozitatea elevilor

_ Hotelul Intercontinental din București ascunde un secret întunecat: motivele pentru acolo s-au petrecut multe acțiuni tragice nu sunt cunoscute în totalitate

_ Fermierul care a demolat fără permisiune un porumbel din secolul al XVII-lea clasat pe listă este amendat cu 45.000 de lire sterline

_ EDEN CONFIDENTIAL: magnatul de depozit David Ross se reuneste cu fosta lui iubita mostenitoare de sticla

_ Simulările cu noul model k−ω oferă perspective asupra proceselor masive de convecție a stelelor

_ Formula 1 - Marele Premiu al Qatarului ar putea decide şi titlul la echipe

_ VIDEO - Guvernul 'curăță' țara de păcănele: Anunțul ferm al premierului

_ A sprijinit Israelul, dar a pierdut o avere: McDonald's are probleme economice mari în țările musulmane

_ Taylor Swift și Travis Kelce „vor petrece ceva timp în privat împreună” după Super Bowl, după ce au fost despărțiți de câteva săptămâni... dar tight end „este încă hotărât să renunțe” la Las Vegas dacă Chiefs câștigă

_ NATO dă 'dezlegare' Ucrainei să atace Moscova: 'Are acest drept!'

_ COMENTARIU Lelia Munteanu: Gaza. The Day After

_ Un şofer inconștient a fost depistat de polițiștii din Târgoviște când conducea cu 109 km/h pe o stradă din oraș

_ Jocul „Puiului” în lumea de azi

_ Secretarul general al ONU avertizează că lumea devine "mai puţin sigură pe zi ce trece"

_ Momentan protestatarii - care cu câteva zile în urmă au declarat că o stradă este „puțin mai sigură” -, în timp ce au devenit bollarzi umani pentru a proteja o schemă de reducere a traficului, sunt împrăștiați după ce șoferi furiați au străbătut

Al treilea război mondial? Macron discută cu partidele din Franța trimiterea de trupe în Ucraina: „Nu ne putem permite să stabilim limite”

_ O nouă despărțire în showbiz! Carmen Grebenișan și Alex Militaru au divorțat - Vedeta a confirmat separarea

_ Tatăl din Missouri spune că „s-a prăbușit” de durere după ce a găsit cadavrul însângerat al fiicei de 24 de ani într-o cadă și copilul ei de 4 ani, bătut fără știință: bărbat, 32 de ani, pledează vinovat de crimă

_ The Regime Review: O satira politică fără mușcătură, puțină inteligență și un total OTT Kate Winslet, scrie CHRISTOPHER STEVENS

_ Sărbătorile zilei din 13 aprilie - Sf. Sfinţit Mc. Artemon; Sf. Mc. Elefterie Persul

_ Dezvăluit: De ce ar trebui să iei întotdeauna propriile sandvișuri la aeroport

_ Ion Cristoiu: În chestiunea Rusiei, România beneficiază de expertiza fostei Securităţi

_ Ana Bogdan, after qualifying in round of 16 at Transylvania Open - Today I fought for every point

_ BREAKING - Migranții au înjunghiat polițiștii de frontieră din România: s-au tras 13 focuri de armă pentru a-i opri


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31

Nr. de articole la aceasta sectiune: 1854, afisate in 31 pagini.