14:01
Comentarii Adauga Comentariu

_ Optimizările software fac apelarea variantelor de 8 până la 16 ori mai rapidă pentru secvențierea genomului

_ Optimizările software fac apelarea variantelor de la 8 la 16 de ori mai rapid pentru secvențierea genomului

Costul secvențierii a scăzut enorm. Dar totuși nu este folosit în practica zilnică. Unul dintre motivele pentru aceasta este că procesarea datelor brute în informații utile durează mult timp (câteva zile pentru secvențierea întregului genom) și necesită o mulțime de resurse costisitoare (cum ar fi servere care trebuie închiriate într-un centru de date) .

„Problema cu software-ul actual pentru secvențierea datelor și apelarea variantelor este că nu este structurat în cel mai bun mod”, explică Charlotte Herzeel de la ExaScience Life Lab de la imec. „Fiecare pas în curs (de exemplu, marcarea duplicatelor, recalibrarea scorului de bază al calității sau BQSR) este realizată de instrumente software separate, care necesită fiecare intrare și ieșire către o sursă de memorie și poate fi executat numai când pasul anterior este finalizat. Cu noul nostru pas platforma software, am regândit acest proces și am luat în considerare conducta în ansamblu."

elPrep5: Paralelizare pentru apelarea mai eficientă a variantelor

ElPrep5 este versiunea finală a platformei software pe care Imec's ExaScience Life Lab dezvoltat pentru conducta de secvențiere. Această actualizare finală include și pasul de apelare a variantei, un pas care de obicei ocupă o parte substanțială din timpul total de rulare (38–80%). ElPrep este dezvoltat în Linux și scris în Go (un limbaj de programare dezvoltat de Google). Este lansat atât ca proiect open-source pe GitHub, cât și ca licență premium cu suport.

„Strategia de optimizare software constă în îmbinarea execuției mai multor pași ai conductei, paralelizarea execuției acestora și evitarea fișierului I. /O", explică Herzeel. „Produce rezultate precum programele de analiză a genomului de ultimă generație, cum ar fi SAMtools, Picard și GATK4. Acest lucru este important din perspectiva utilizatorului, deoarece permite elPrep5 să fie utilizat ca înlocuitor pentru alte instrumente populare”.

Trecerea unei viteze: rezultate de 8 până la 16 ori mai rapide

Au fost efectuate mai multe experimente pentru a evalua eficiența software-ului elPrep5. „Într-un prim experiment, a fost efectuată o întreagă secvențiere a exomului folosind un server de 96CPUx384GB”, spune Herzeel. „Datele au fost fie secvențiate cu GATK4, fie cu software-ul elPrep, utilizat pe scară largă. Pentru GATK4, au fost utilizate două moduri ale software-ului: modul Java (algoritmul standard al apelantului haplotip) și modul Intel (algoritm optimizat pentru paralelizare). De asemenea, pentru elPrep, au fost testate două moduri: modul de filtru (încărcarea tuturor datelor de intrare în RAM pentru a evita I/O intermediare pe disc) și modul sfm (împarte datele pe regiuni cromozomiale). În general, modul de filtru este util pentru seturi de date mai mici, dar folosește mai multă RAM. Dacă modul de filtrare poate fi utilizat depinde de dimensiunea BAM de intrare în raport cu RAM disponibilă."

Rezultatele acestui experiment sunt prezentate în figurile 2 și 3.

Pe toate datele exome, modul de filtru elPrep:

Pe datele exome, modul elPrep sfm:

„În contextul unei configurări în cloud, filtrul modul este, în general, cel mai ieftin și mai eficient mod de procesare a datelor, deoarece, deși folosește mai multă memorie RAM decât modul sfm, timpul de rulare este redus atât de mult încât reduce Costul de închiriere a serverului”, explică Herzeel.

Pentru toate datele genomului, a fost efectuat un test similar. Singura diferență a fost că pentru elPrep a fost folosit doar modul sfm, deoarece modul de filtrare nu este potrivit pentru seturi de date atât de mari.

Pe datele genomului, modul elPrep sfm:

„ElPrep 5 arată mai multă accelerare pentru datele genomului întreg (16x) decât pentru datele exomului întreg”, rezumă Herzeel. „Acest lucru se datorează faptului că apelarea variantelor, care este inclusă în elPrep 5, ocupă de obicei o parte mai mare din timpul de rulare general al unei conducte pentru datele întregului genom. Prin urmare, este cheltuit mai mult timp în mod proporțional pentru apelarea variantelor pentru date întregului genom și există mai mult calculul pentru ca elPrep să accelereze.”

Cu cât mai multe resurse, cu atât veți obține mai repede (cu elPrep)

S-a făcut un alt experiment pentru a studia potențialul de „scalare” al software-ului elPrep: cât de bine funcționează acesta în ceea ce privește reducerea timpului de rulare atunci când pot fi utilizate mai multe resurse hardware. „Dacă software-ul se scalează bine, costul mai mare al închirierii serverelor cu mai multe resurse de calcul poate fi compensat prin reducerea timpului de rulare”, comentează Herzeel. „Pentru a face acest test, conducta a fost executată pe diferite servere cu un număr diferit de procesoare și RAM, folosind GATK4, utilizat pe scară largă ca referință.”

Rezultatele sunt prezentate în figura 4 (întregul exome) și figura 5 (întregul genom).

Pentru datele întregului exom, elPrep (filtru și modul sfm) se scalează foarte bine. Timpul de execuție se înjumătățește pentru fiecare creștere a resurselor. Câteva rezultate concrete care pot fi derivate din grafice:

Pentru datele întregului genom, a fost folosit doar modul sfm al elPrep, iar software-ul a fost rulat doar pe servere cu suficientă memorie RAM și spațiu pe disc pentru această dimensiune mare. cantitatea de date. O lecție interesantă din graficele din figura 4 este că rularea elPrep pe 96CPUx384GB este mai ieftină decât rularea GATK4 Java pe 8CPUx32GB, deoarece rularea elPrep este de aproape 14 ori mai rapidă. Mai precis, costul scade de la 45 la 32 de dolari și durata de rulare de la aproape 80 de ore la mai puțin de 6 ore.

Lângă serverele de la un furnizor mare de cloud, a fost făcut și un test pe un sistem care folosește Pure Storage. infrastructură cu o arhitectură de stocare diferită (FlashBlade). Rezultatele sunt prezentate în Figura 6.

Herzeel: „Experimentul arată că experimentele elPrep pe infrastructura Pure Storage se scalează în mod similar cu benchmark-urile cloud. Acest lucru sugerează că soluția de stocare Flashblade a Pure Storage are performanțe cel puțin egale. bine pentru soluțiile de stocare ale furnizorului de cloud.”

ElPrep, și în special cea mai recentă actualizare elPrep5, este un software pentru analiza datelor de secvențiere, inclusiv apelarea variantelor. Poate fi folosit ca înlocuitor pentru programele de analiză a genomului de ultimă generație, cum ar fi a.o. SAMtools, Picard și GATK4.

„Experimentul nostru de referință arată că elPrep 5 accelerează execuția conductei cu un factor de 8 până la 16x în comparație cu GATK4”, conchide Herzeel. „Concret, elPrep 5 execută conducta de apelare a variantei în mai puțin de 6 ore pentru o probă de genom întreg și are nevoie de mai puțin de 8 minute pentru o probă de exom întreg. ElPrep realizează aceste accelerări folosind inovații algoritmice și paralelizare, rulează pe CPU obișnuit. servere fără acceleratoare specializate și utilizează mai puține resurse RAM și disc.”


(Fluierul)


Linkul direct catre Petitie

CEREM NATIONALIZAREA TUTUROR RESURSELOR NATURALE ALE ROMANIEI ! - Initiativa Legislativa care are nevoie de 500.000 de semnaturi - Semneaza si tu !

Comentarii:


Adauga Comentariu



Citiți și cele mai căutate articole de pe Fluierul:

_ Investigația ERIC, Partea 3: Societatea Soros Open și �nființarea celei mai mari operațiuni de curățare a listelor de alegători a națiunii

PS Ambrozie CRITICĂ ABERAȚIILE MARXISTE ALE LUI IOHANNIS Când un șef de stat îți spune că sistemul de sănătate a eșuat înseamnă că el este vinovatul pentru eșuarea în toate domeniile.El și Greta Trotineta care sunt cu încălzirea de la flatulațiile vacilor

AUR a depăşit Partidul Naţional Liberal

_ FOCARUL din Ardeal - Incidența Covid în Cluj-Napoca a depășit 21 la mie

_ CAIETUL LUI ALEXANDRA SHULMAN: Cele mai bune diete? Cei care îmi oferă un indiciu de speranță

_ Washingtonul promite o ripostă `fermă` Belarusului dacă ajută Moscova să invadeze Ucraina

CHINA. SE REIAU TESTELE ÎN FUND. China readuce testele anal Covid pe tampon... tocmai la timp pentru Jocurile Olimpice de iarnă

Crime făcute de progresiști cu mințile copiilor. MAMA: Profesorii progresiști „au manipulat-o în secret pe fiica mea de 11 ani, să creadă că este un băiat transsexual”...

Cât de mult rară s-a răspândit în America, o mutația cerebrală rară

_ Navele de tip antenă de satelit își finalizează primul test de zbor nelegat

_ Ziua decisivă la CCR: SRI ar putea reveni în cadrul anchetelor penale

_ Ce s-a întâmplat cu ducele și ducesa de Argyll DUPĂ un scandal foarte britanic?

_ Personalul de la 30 de firme din Marea Britanie va lucra o săptămână de patru zile pentru ACELAȘI salariu, așa cum începe pilotul de șase luni.

_ Am făcut „no-cheltuiește ianuarie” și am salvat o mică avere?

Doctorul britanic, de 31 de ani, este ucis de un glonț rătăcit în Atlanta, în timp ce zăcea în PAT

_ Temeri de cumpărare acum, plătiți mai târziu cardul de credit al firmei

Realitatea „Zero Covid” în China, unde „lagărele de carantină” îi limitează pe rezidenți la celule, arată videoclipurile. Măsurile Draconice au menținut China la maxim 230 de cazuri de COVID la 7 zile, la peste 1 miliard de locuitori.

_ Pedepse GRELE cerute de DNA în dosarul trecerii insulei Belina în FIEFUL LUI Dragnea - Inculpații SUNT DE ACORD să facă muncă în folosul comunității

_ Mircea Geoană DĂ ALERTA și acuză Rusia de politici AGRESIVE: Pregătim PROPUNERI SCRISE

_ Katie Price scapă de scandalul prin mesaje abuzive, în timp ce logodnicul Carl Woods promite că va rămâne lângă ea

_ Antrenorul lui West Ham, Stuart Pearce, face o comparație între Jarrod Bowen și Mo Salah de la Liverpool

_ Mascații au descins la un cabinet medical: Certificate false anti Covid-19, vândute cu 150 de euro

_ Un tânăr a fost amendat cu 1.300 de lei pentru că a tractat cu maşina o sanie pe un drum judeţean din Bistriţa-Năsăud

_ Alex Pike împărtășește un citat criptic despre „a fi bun” în mijlocul despărțirii ei zvonite de Nathan Buckley

_ Lottie Moss pune o prezentare FOARTE bustioasa intr-o rochie alba din dantela decupata

Europarlamentarul Cristian Terheș despre MIZERIA PROGRESISTĂ numită Certificat Verde

Ce ne va mai impune cu Forța Progresismul Globalist sau De ce vom ajunge cu toții să mâncăm gândaci...

O Maimuță de laborator care fuge după un accident cu un camion trezește temeri că a fost „infectată”...cu virus de laborator

_ Watford se pregătește să-l semneze pe extremul nigerian Samuel Kalu, după ce a convenit cu Bordeauxul unui contract de 3,5 milioane de lire sterline

UK. Pandemia celor vaccinați: MORTALITATEA COVID DIN ULTIMELE 4 LUNI, ÎN RÂNDUL VACCINAȚILOR, ESTE MAI MARE CU 10% DECÂT MORTALITATEA DE COVID DIN RÂNDUL NEVACCINAȚILOR, raportat la procentul total de vaccinați / nevaccinați din populație

Varianta ușoară? Cu 79,7% vaccinați, Spitalizările din Franța COVID înregistrează cel mai mare salt din noiembrie 2020. 288 de morți într-o singură zi, 3881 sunt la reanimare. Câmpeanu, închide masonule școlile că o sa ai iarăși morți pe conștiință.

_ Ministru Industriei din Emiratele Arabe Unite: "Lumea trebuie să investească peste 3 trilioane de dolari în surse regenerabile în următorii 10 ani"

Mai mult progresist decât creștin, Papa Francisc e puternic contestat. Preotul grec ortodox strigă 'Papă, ești eretic" la Francisc, Neomarxistul Roșu, la Atena (VIDEO)

_ Kristen Bell iese din zona ei de confort pentru a apărea la Jimmy Kimmel Live!

_ Obțineți întotdeauna o a doua opinie! Oamenii dezvăluie cele mai proaste erori de design pe care le-au văzut

_ MAI MULTE MINCIUNI: FBI a mințit �n legătură cu ostaticul din Texas � Rabinul a fost cel care a salvat ostaticii

Săptămână de lucru de 4 zile. Este planul unui stat european prin care angajaţii să lucreze mai puţin şi să fie plătiţi la fel

_ DOUA TREIMII dintre cazurile de Covid din Anglia „au fost reinfectări luna trecută”

_ VIDEO Noul selecționer Edward Iordănescu și-a prezentat strategia la naționala de fotbal

_ Alicia Witt rupe tăcerea la o lună după ce părinții ei au fost găsiți morți

Furie când înotătorul transexual termină cursa cu 38 de secunde înaintea celui mai apropiat rival...

Cupa Africii Națiunilor 2021: Date, format, canal TV, grupe, lista jucătorilor din Premier League

_ Ministrul conservator Conor Burns spune că Boris Johnson a fost „împuscatat” cu un tort la „petrecerea de naștere” din nr. 10

_ Rihanna arată șic sportiv, în timp ce îmbracă jambiere de antrenament cu tocuri și o haină albastră supradimensionată în New York

_ Sajid Javid sugerează că regula controversată „fără lovituri, fără loc de muncă” pentru personalul NHS din Anglia este în curs de revizuire

_ Supraviețuitoarea Burns, Turia Pitt, își împărtășește lupta ei parentală solo:

_ Celebrity Big Brother va reveni pe Channel 4 în timp ce difuzează versiunea Australiei

_ Comisia Europeană anunţă lansarea pe orbită a doi sateliţi Galileo care au primit numele unor copii câştigători ai unui concurs de desen

_ Cum a fost Ducesa de Argyll a fost cu adevărat

_ Trei incendii au fost provocate intenționat lângă sediile Telekom și Vodafone, dar și la operator de internet

_ DJ-ul suedez Eric Prydz vinde 1,55 milioane de lire sterline la Londra prin agenții imobiliari Fletchers

_ Rebel Wilson împărtășește o fotografie rară alături de cele două surori ale ei pe o insulă privată

_ QPR 0-0 Swansea: Seria de patru victorii consecutive a gazdelor se încheie în impas împotriva Swans, formată din 10 jucători

_ Lisa Armstrong uimește într-un costum de baie negru în timp ce se apropie de frumusețea James Green

Cazul Djokovic. Bestiile au pus din nou la cale să-l deporteze azi......Update: Expulzarea s-a amânat...după încă o zi de tensiune. Presa progresistă neomarxistă îl linșează mediatic (vezi și la noi Digi24 și Antena3)

_ Dylan Alcott zâmbește cu toții după ce a fost premiat cu Australianul Anului

O felie din Petrom, scoasă la vânzare de Fondul Proprietatea..

_ Istoricul Armand Goșu explică de ce n-a fost invitat Iohannis la videoconferința cu Joe Biden: Din păcate, nu contezi!

_ Încă o lovitură pentru Jair Bolsonaro: după ce mama acestuia a murit săptămâna trecută, acum un filosof apropiat de el a încetat din viață

_ Disney+ confirmă lansarea serviciului de streaming în România


Pag.1 Pag.2 Pag.3 Pag.4 Pag.5 Pag.6 Pag.7
Pag.8 Pag.9 Pag.10 Pag.11 Pag.12 Pag.13 Pag.14 Pag.15
Pag.16 Pag.17 Pag.18 Pag.19 Pag.20 Pag.21 Pag.22 Pag.23
Pag.24 Pag.25 Pag.26 Pag.27 Pag.28 Pag.29 Pag.30 Pag.31
Pag.32 Pag.33 Pag.34 Pag.35 Pag.36 Pag.37 Pag.38 Pag.39
Pag.40 Pag.41 Pag.42 Pag.43 Pag.44 Pag.45 Pag.46 Pag.47
Pag.48 Pag.49 Pag.50 Pag.51 Pag.52 Pag.53 Pag.54 Pag.55
Pag.56 Pag.57 Pag.58 Pag.59 Pag.60 Pag.61 Pag.62 Pag.63
Pag.64 Pag.65 Pag.66 Pag.67 Pag.68 Pag.69 Pag.70 Pag.71
Pag.72 Pag.73 Pag.74 Pag.75 Pag.76 Pag.77 Pag.78 Pag.79
Pag.80 Pag.81 Pag.82 Pag.83 Pag.84 Pag.85 Pag.86 Pag.87
Pag.88 Pag.89 Pag.90 Pag.91 Pag.92 Pag.93 Pag.94 Pag.95
Pag.96 Pag.97 Pag.98 Pag.99 Pag.100 Pag.101 Pag.102 Pag.103
Pag.104 Pag.105 Pag.106 Pag.107 Pag.108 Pag.109

Nr. de articole la aceasta sectiune: 6522, afisate in 109 pagini.