14:01
Comentarii Adauga Comentariu

_ Optimizările software fac apelarea variantelor de 8 până la 16 ori mai rapidă pentru secvențierea genomului

_ Optimizările software fac apelarea variantelor de la 8 la 16 de ori mai rapid pentru secvențierea genomului

Costul secvențierii a scăzut enorm. Dar totuși nu este folosit în practica zilnică. Unul dintre motivele pentru aceasta este că procesarea datelor brute în informații utile durează mult timp (câteva zile pentru secvențierea întregului genom) și necesită o mulțime de resurse costisitoare (cum ar fi servere care trebuie închiriate într-un centru de date) .

„Problema cu software-ul actual pentru secvențierea datelor și apelarea variantelor este că nu este structurat în cel mai bun mod”, explică Charlotte Herzeel de la ExaScience Life Lab de la imec. „Fiecare pas în curs (de exemplu, marcarea duplicatelor, recalibrarea scorului de bază al calității sau BQSR) este realizată de instrumente software separate, care necesită fiecare intrare și ieșire către o sursă de memorie și poate fi executat numai când pasul anterior este finalizat. Cu noul nostru pas platforma software, am regândit acest proces și am luat în considerare conducta în ansamblu."

elPrep5: Paralelizare pentru apelarea mai eficientă a variantelor

ElPrep5 este versiunea finală a platformei software pe care Imec's ExaScience Life Lab dezvoltat pentru conducta de secvențiere. Această actualizare finală include și pasul de apelare a variantei, un pas care de obicei ocupă o parte substanțială din timpul total de rulare (38–80%). ElPrep este dezvoltat în Linux și scris în Go (un limbaj de programare dezvoltat de Google). Este lansat atât ca proiect open-source pe GitHub, cât și ca licență premium cu suport.

„Strategia de optimizare software constă în îmbinarea execuției mai multor pași ai conductei, paralelizarea execuției acestora și evitarea fișierului I. /O", explică Herzeel. „Produce rezultate precum programele de analiză a genomului de ultimă generație, cum ar fi SAMtools, Picard și GATK4. Acest lucru este important din perspectiva utilizatorului, deoarece permite elPrep5 să fie utilizat ca înlocuitor pentru alte instrumente populare”.

Trecerea unei viteze: rezultate de 8 până la 16 ori mai rapide

Au fost efectuate mai multe experimente pentru a evalua eficiența software-ului elPrep5. „Într-un prim experiment, a fost efectuată o întreagă secvențiere a exomului folosind un server de 96CPUx384GB”, spune Herzeel. „Datele au fost fie secvențiate cu GATK4, fie cu software-ul elPrep, utilizat pe scară largă. Pentru GATK4, au fost utilizate două moduri ale software-ului: modul Java (algoritmul standard al apelantului haplotip) și modul Intel (algoritm optimizat pentru paralelizare). De asemenea, pentru elPrep, au fost testate două moduri: modul de filtru (încărcarea tuturor datelor de intrare în RAM pentru a evita I/O intermediare pe disc) și modul sfm (împarte datele pe regiuni cromozomiale). În general, modul de filtru este util pentru seturi de date mai mici, dar folosește mai multă RAM. Dacă modul de filtrare poate fi utilizat depinde de dimensiunea BAM de intrare în raport cu RAM disponibilă."

Rezultatele acestui experiment sunt prezentate în figurile 2 și 3.

Pe toate datele exome, modul de filtru elPrep:

Pe datele exome, modul elPrep sfm:

„În contextul unei configurări în cloud, filtrul modul este, în general, cel mai ieftin și mai eficient mod de procesare a datelor, deoarece, deși folosește mai multă memorie RAM decât modul sfm, timpul de rulare este redus atât de mult încât reduce Costul de închiriere a serverului”, explică Herzeel.

Pentru toate datele genomului, a fost efectuat un test similar. Singura diferență a fost că pentru elPrep a fost folosit doar modul sfm, deoarece modul de filtrare nu este potrivit pentru seturi de date atât de mari.

Pe datele genomului, modul elPrep sfm:

„ElPrep 5 arată mai multă accelerare pentru datele genomului întreg (16x) decât pentru datele exomului întreg”, rezumă Herzeel. „Acest lucru se datorează faptului că apelarea variantelor, care este inclusă în elPrep 5, ocupă de obicei o parte mai mare din timpul de rulare general al unei conducte pentru datele întregului genom. Prin urmare, este cheltuit mai mult timp în mod proporțional pentru apelarea variantelor pentru date întregului genom și există mai mult calculul pentru ca elPrep să accelereze.”

Cu cât mai multe resurse, cu atât veți obține mai repede (cu elPrep)

S-a făcut un alt experiment pentru a studia potențialul de „scalare” al software-ului elPrep: cât de bine funcționează acesta în ceea ce privește reducerea timpului de rulare atunci când pot fi utilizate mai multe resurse hardware. „Dacă software-ul se scalează bine, costul mai mare al închirierii serverelor cu mai multe resurse de calcul poate fi compensat prin reducerea timpului de rulare”, comentează Herzeel. „Pentru a face acest test, conducta a fost executată pe diferite servere cu un număr diferit de procesoare și RAM, folosind GATK4, utilizat pe scară largă ca referință.”

Rezultatele sunt prezentate în figura 4 (întregul exome) și figura 5 (întregul genom).

Pentru datele întregului exom, elPrep (filtru și modul sfm) se scalează foarte bine. Timpul de execuție se înjumătățește pentru fiecare creștere a resurselor. Câteva rezultate concrete care pot fi derivate din grafice:

Pentru datele întregului genom, a fost folosit doar modul sfm al elPrep, iar software-ul a fost rulat doar pe servere cu suficientă memorie RAM și spațiu pe disc pentru această dimensiune mare. cantitatea de date. O lecție interesantă din graficele din figura 4 este că rularea elPrep pe 96CPUx384GB este mai ieftină decât rularea GATK4 Java pe 8CPUx32GB, deoarece rularea elPrep este de aproape 14 ori mai rapidă. Mai precis, costul scade de la 45 la 32 de dolari și durata de rulare de la aproape 80 de ore la mai puțin de 6 ore.

Lângă serverele de la un furnizor mare de cloud, a fost făcut și un test pe un sistem care folosește Pure Storage. infrastructură cu o arhitectură de stocare diferită (FlashBlade). Rezultatele sunt prezentate în Figura 6.

Herzeel: „Experimentul arată că experimentele elPrep pe infrastructura Pure Storage se scalează în mod similar cu benchmark-urile cloud. Acest lucru sugerează că soluția de stocare Flashblade a Pure Storage are performanțe cel puțin egale. bine pentru soluțiile de stocare ale furnizorului de cloud.”

ElPrep, și în special cea mai recentă actualizare elPrep5, este un software pentru analiza datelor de secvențiere, inclusiv apelarea variantelor. Poate fi folosit ca înlocuitor pentru programele de analiză a genomului de ultimă generație, cum ar fi a.o. SAMtools, Picard și GATK4.

„Experimentul nostru de referință arată că elPrep 5 accelerează execuția conductei cu un factor de 8 până la 16x în comparație cu GATK4”, conchide Herzeel. „Concret, elPrep 5 execută conducta de apelare a variantei în mai puțin de 6 ore pentru o probă de genom întreg și are nevoie de mai puțin de 8 minute pentru o probă de exom întreg. ElPrep realizează aceste accelerări folosind inovații algoritmice și paralelizare, rulează pe CPU obișnuit. servere fără acceleratoare specializate și utilizează mai puține resurse RAM și disc.”


(Fluierul)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

ISTORIC! Peste 50.000 de camionieri se alătură convoiului pentru libertate prin Canada, care protestează împotriva mandatelor COVID - Mulțimi masive de canadieni se prezintă în sprijin

_ Spotify l-a eliminat pe Neil Young de pe platformă

_ COMENTARIU Marius Oprea: Cioloş nu-şi vede Barna din ochi

AUR a depăşit Partidul Naţional Liberal

_ Cu ce se ocupă diplomații americani prin Rusia: Unul dintre ei, profesor la Moscova, s-a apucat de trafic de droguri

_ Fauci propune o serie de trei fotografii pentru bebeluși cu vârsta de 6 luni până la copiii de 4 ani (video)

PS Ambrozie CRITICĂ ABERAȚIILE MARXISTE ALE LUI IOHANNIS Când un șef de stat îți spune că sistemul de sănătate a eșuat înseamnă că el este vinovatul pentru eșuarea în toate domeniile.El și Greta Trotineta care sunt cu încălzirea de la flatulațiile vacilor

_ Republicanul Herschel Walker a strâns 10 milioane de dolari uimitoare de când a anunțat oferta pentru Senat

_ O disidentă asociată cu Aleksei Navalnîi a reuşit să fugă din Rusia pentru a nu fi arestată

_ Preşedintele Ucrainei cataloghează drept "constructive" negocierile cu Rusia în Formatul Normandia

_ Viceprimarul USR al Timișoarei A LUAT FOC: Cineva să PLAFONEZE PROSTIA Guvernului Ciucă

_ Un proiect de extindere a instalaţiei de stocare a gazelor naturale din nord-vestul Bulgariei va fi finanţată cu un grant UE de 78 milioane euro

_ Ministerul Finanţelor a împrumutat peste 900 milioane de lei prin două licitaţii cu titluri de stat

_ Un grup de şase tineri a dat în judecată operatorul centralei nucleare Fukushima după ce au făcut cancer tiroidian

_ În ciuda pandemiei, grupurile producătoare de bunuri de lux raportează vânzări în creştere

_ În România există, conform specialiştilor, peste 4.000 de exemplare de urs

_ Quebec Canada interzice Unvaxxed să cumpere alimente de la comercianții mari cu amănuntul, cu excepția cazului în care sunt însoțiți de un „director de sănătate” care se va asigura că cumpără doar alimente și medicamente

_ Florin Cîțu, replică pentru PSD pe tema renegocierii PNRR: Cum a evoluat ponderea pensiilor în PIB

_ O consilieră USR acuză că a fost agresată fizic. Cioloş: Violenţa AUR e preluată de PNL şi PMP

_ Vremuri bune pentru McDonald's. Vânzările nu au mai fost atât de bune de pe vremea când Bill Clinton era preşedinte

_ O căprioară a fost salvată din râul Bistriţa de către trei tinere sportive

_ Poşta din Lituania a livrat o scrisoare expediată în urmă cu aproape 51 de ani

_ Victorie pentru Iran. S-a calificat la Cupa Mondială de fotbal

_ Aurescu şi Genchovska, ministrul bulgar al Afacerilor Externe, au schimbat opinii privind situaţia de securitate regională

_ Cel mai bogat om din Africa vrea să cumpere clubul Arsenal. El a fost informat de costul preluării

_ SONDAJ | Pe măsură ce Biden pare INCAPABIL să conducă SUA, popularitatea lui Trump crește: fostul președinte ar câștiga ușor alegerile dacă ar fi organizate azi

_ Rasismul din perspectiva: Panel îl acuză pe Clarence Thomas că este un trădător de rasă, „El nu reprezintă comunitatea neagră” (VIDEO)

_ Femeile au revenit în tribune, pe stadioanele din Iran, după trei ani de interdicţie

_ FOTO - Un rar tablou de Botticelli cu portretul lui Iisus a fost vândut cu 45 de milioane de dolari la o licitaţie din New York

_ „Cred că e o nenorocită” – Fostul consilier al lui Obama se repetă împotriva senatorului Sinema pentru că l-a sprijinit pe filibuster (VIDEO)

_ Maryland: Primarul Hyattsville Kevin Ward moare prin sinucidere

_ Preşedintele Comisiei de afaceri externe a PE: 'Orice intervenţie militară rusă în Ucraina va avea consecinţe şi costuri enorme'

_ Rusia insistă ca NATO să retragă trupele din statele est-europene şi să nu continue extinderea

_ FT: Vecinii Ucrainei salută ajutorul NATO, dar Ungaria are dubii şi cere negocieri intense cu Rusia

_ UE a sesizat Organizația Mondială a Comerțului cu privire la restricţiile comerciale impuse Lituaniei de către China

_ „Some People Got the Wrong One” – Înregistrările denunțătorilor de asistență medicală din New York arată o posibilă administrare greșită a Covid Vax asupra copiilor (VIDEO)

_ Loto 6/49, joi, 27 ianuarie 2022. Loteria Română anunţă report de 1,25 milioane de euro la categoria I

_ Facultatea de Teologie Ortodoxă 'Ilarion V. Felea' din cadrul Universității 'Aurel Vlaicu' din Arad împlinește 200 de ani de existență

_ 'Jurnalul fericirii' de Nicoale Steinhardt în limba franceză a fost publicat într-o nouă ediție

_ O stradă cu numele regretatei Draga Olteanu Matei va fi înființată în Piatra-Neamț

_ Joe Biden a confirmat că va numi, pentru prima dată în istorie, o femeie de culoare la Curtea Supremă a SUA

_ IMPRIMAT ÎN VIDEO: Partidul Republican din California susține democrații și un șeriful care va da afară ICE

_ Peste 200 de specii noi au fost descoperite în regiunea Mekong. Anunţul WWF

_ Un blogger musulman din Uzbekistan a fost condamnat la şapte ani şi jumătate de închisoare în urma unei postări pe Facebook

_ AICI ESTE: Judecătorul Curții Supreme Stephen Breyer publică o scrisoare prin care își anunță pensionarea

_ Paul Sperry: Ce știa Clinton și când a știut asta? Dovezile Russiagate se construiesc

_ LAWRENCE SELLIN: Agenții Partidului Comunist Chinez s-au infiltrat în mass-media, politica, știința și armata americană și, totuși, regimul lui Biden nu face nimic

_ DOJ lui Biden spune că incendiarul care a ucis pe cineva în timpul revoltelor BLM ar trebui să primească o sentință mai mică pentru că protesta

_ Fostul guvernator al Missouri și candidat la Senatul SUA, Eric Greitens, discută despre problemele juridice ale procurorului din St Louis, susținut de Soros, Kim Gardner (VIDEO)

_ Polonia a început să ridice un zid la graniţa cu Belarus. Care sunt motivele

_ Hansen: Capitol Offense – Adevărul urât din spatele celor cinci morți din 6 și 7 ianuarie

_ MEGA-OPERAȚIUNE de CONTROL, demarată în ianuarie 2022! O instituție de forță TAIE ÎN CARNE VIE!

_ Mircea Geoană îl enervează pe Vladimir Putin! De ce Ucraina poate adera la NATO: 'Nu un terţ stat are drept cu privire la viaţa şi destinul unei naţiuni'

_ Mama vitregă a lui Star Hobson este „ținta numărul unu” în închisoare, unde prizonierii „stau la coadă pentru a o înjunghia”

_ CHIAR �N: Rusia și Ucraina convin să susțină �ncetarea focului �n Donbas �ntr-o negociere �dură� care l-a exclus pe Biden și SUA

_ Secretarul general al Ministerului Energiei, demis de premierul Nicolae Ciucă

_ Ce se ascunde în zonele întunecate ale cerului? Cristian Presură, în dialog cu astrofiziciana Aurora Simionescu

_ GoFundMe suspendă accesul la milioane de dolari strânși pentru camionerii canadieni care protestează împotriva mandatelor de vaccinare

_ Avocații din Wisconsin depun o moțiune de urgență pentru a ocoli Curtea de Apel și decizia lor de a amâna interzicerea boxelor pentru primarul din februarie.

_ Psaki îi avertizează pe republicani împotriva jocului de „jocuri” cu alegerea lui Biden la Curtea Supremă (VIDEO)


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45 Pag.46 Pag.47
Pag.48 Pag.49 Pag.50 Pag.51 Pag.52 Pag.53 Pag.54 Pag.55
Pag.56 Pag.57 Pag.58 Pag.59 Pag.60 Pag.61 Pag.62 Pag.63
Pag.64 Pag.65 Pag.66 Pag.67 Pag.68 Pag.69 Pag.70 Pag.71
Pag.72 Pag.73 Pag.74 Pag.75 Pag.76 Pag.77 Pag.78 Pag.79
Pag.80 Pag.81 Pag.82 Pag.83 Pag.84 Pag.85 Pag.86 Pag.87
Pag.88 Pag.89 Pag.90 Pag.91 Pag.92 Pag.93 Pag.94 Pag.95
Pag.96 Pag.97 Pag.98 Pag.99 Pag.100 Pag.101 Pag.102 Pag.103
Pag.104 Pag.105 Pag.106 Pag.107 Pag.108 Pag.109 Pag.110 Pag.111
Pag.112 Pag.113 Pag.114 Pag.115 Pag.116 Pag.117 Pag.118 Pag.119
Pag.120 Pag.121 Pag.122 Pag.123 Pag.124 Pag.125 Pag.126 Pag.127
Pag.128 Pag.129 Pag.130 Pag.131 Pag.132 Pag.133 Pag.134 Pag.135
Pag.136 Pag.137 Pag.138 Pag.139 Pag.140 Pag.141 Pag.142 Pag.143
Pag.144 Pag.145 Pag.146 Pag.147 Pag.148 Pag.149 Pag.150 Pag.151
Pag.152 Pag.153 Pag.154

Nr. de articole la aceasta sectiune: 9185, afisate in 154 pagini.