_ Optimizările software fac apelarea variantelor de la 8 la 16 de ori mai rapid pentru secvențierea genomului

Costul secvențierii a scăzut enorm. Dar totuși nu este folosit în practica zilnică. Unul dintre motivele pentru aceasta este că procesarea datelor brute în informații utile durează mult timp (câteva zile pentru secvențierea întregului genom) și necesită o mulțime de resurse costisitoare (cum ar fi servere care trebuie închiriate într-un centru de date) .

„Problema cu software-ul actual pentru secvențierea datelor și apelarea variantelor este că nu este structurat în cel mai bun mod”, explică Charlotte Herzeel de la ExaScience Life Lab de la imec. „Fiecare pas în curs (de exemplu, marcarea duplicatelor, recalibrarea scorului de bază al calității sau BQSR) este realizată de instrumente software separate, care necesită fiecare intrare și ieșire către o sursă de memorie și poate fi executat numai când pasul anterior este finalizat. Cu noul nostru pas platforma software, am regândit acest proces și am luat în considerare conducta în ansamblu."

elPrep5: Paralelizare pentru apelarea mai eficientă a variantelor

ElPrep5 este versiunea finală a platformei software pe care Imec's ExaScience Life Lab dezvoltat pentru conducta de secvențiere. Această actualizare finală include și pasul de apelare a variantei, un pas care de obicei ocupă o parte substanțială din timpul total de rulare (38–80%). ElPrep este dezvoltat în Linux și scris în Go (un limbaj de programare dezvoltat de Google). Este lansat atât ca proiect open-source pe GitHub, cât și ca licență premium cu suport.

„Strategia de optimizare software constă în îmbinarea execuției mai multor pași ai conductei, paralelizarea execuției acestora și evitarea fișierului I. /O", explică Herzeel. „Produce rezultate precum programele de analiză a genomului de ultimă generație, cum ar fi SAMtools, Picard și GATK4. Acest lucru este important din perspectiva utilizatorului, deoarece permite elPrep5 să fie utilizat ca înlocuitor pentru alte instrumente populare”.

Trecerea unei viteze: rezultate de 8 până la 16 ori mai rapide

Au fost efectuate mai multe experimente pentru a evalua eficiența software-ului elPrep5. „Într-un prim experiment, a fost efectuată o întreagă secvențiere a exomului folosind un server de 96CPUx384GB”, spune Herzeel. „Datele au fost fie secvențiate cu GATK4, fie cu software-ul elPrep, utilizat pe scară largă. Pentru GATK4, au fost utilizate două moduri ale software-ului: modul Java (algoritmul standard al apelantului haplotip) și modul Intel (algoritm optimizat pentru paralelizare). De asemenea, pentru elPrep, au fost testate două moduri: modul de filtru (încărcarea tuturor datelor de intrare în RAM pentru a evita I/O intermediare pe disc) și modul sfm (împarte datele pe regiuni cromozomiale). În general, modul de filtru este util pentru seturi de date mai mici, dar folosește mai multă RAM. Dacă modul de filtrare poate fi utilizat depinde de dimensiunea BAM de intrare în raport cu RAM disponibilă."

Rezultatele acestui experiment sunt prezentate în figurile 2 și 3.

Pe toate datele exome, modul de filtru elPrep:

Pe datele exome, modul elPrep sfm:

„În contextul unei configurări în cloud, filtrul modul este, în general, cel mai ieftin și mai eficient mod de procesare a datelor, deoarece, deși folosește mai multă memorie RAM decât modul sfm, timpul de rulare este redus atât de mult încât reduce Costul de închiriere a serverului”, explică Herzeel.

Pentru toate datele genomului, a fost efectuat un test similar. Singura diferență a fost că pentru elPrep a fost folosit doar modul sfm, deoarece modul de filtrare nu este potrivit pentru seturi de date atât de mari.

Pe datele genomului, modul elPrep sfm:

„ElPrep 5 arată mai multă accelerare pentru datele genomului întreg (16x) decât pentru datele exomului întreg”, rezumă Herzeel. „Acest lucru se datorează faptului că apelarea variantelor, care este inclusă în elPrep 5, ocupă de obicei o parte mai mare din timpul de rulare general al unei conducte pentru datele întregului genom. Prin urmare, este cheltuit mai mult timp în mod proporțional pentru apelarea variantelor pentru date întregului genom și există mai mult calculul pentru ca elPrep să accelereze.”

Cu cât mai multe resurse, cu atât veți obține mai repede (cu elPrep)

S-a făcut un alt experiment pentru a studia potențialul de „scalare” al software-ului elPrep: cât de bine funcționează acesta în ceea ce privește reducerea timpului de rulare atunci când pot fi utilizate mai multe resurse hardware. „Dacă software-ul se scalează bine, costul mai mare al închirierii serverelor cu mai multe resurse de calcul poate fi compensat prin reducerea timpului de rulare”, comentează Herzeel. „Pentru a face acest test, conducta a fost executată pe diferite servere cu un număr diferit de procesoare și RAM, folosind GATK4, utilizat pe scară largă ca referință.”

Rezultatele sunt prezentate în figura 4 (întregul exome) și figura 5 (întregul genom).

Pentru datele întregului exom, elPrep (filtru și modul sfm) se scalează foarte bine. Timpul de execuție se înjumătățește pentru fiecare creștere a resurselor. Câteva rezultate concrete care pot fi derivate din grafice:

Pentru datele întregului genom, a fost folosit doar modul sfm al elPrep, iar software-ul a fost rulat doar pe servere cu suficientă memorie RAM și spațiu pe disc pentru această dimensiune mare. cantitatea de date. O lecție interesantă din graficele din figura 4 este că rularea elPrep pe 96CPUx384GB este mai ieftină decât rularea GATK4 Java pe 8CPUx32GB, deoarece rularea elPrep este de aproape 14 ori mai rapidă. Mai precis, costul scade de la 45 la 32 de dolari și durata de rulare de la aproape 80 de ore la mai puțin de 6 ore.

Lângă serverele de la un furnizor mare de cloud, a fost făcut și un test pe un sistem care folosește Pure Storage. infrastructură cu o arhitectură de stocare diferită (FlashBlade). Rezultatele sunt prezentate în Figura 6.

Herzeel: „Experimentul arată că experimentele elPrep pe infrastructura Pure Storage se scalează în mod similar cu benchmark-urile cloud. Acest lucru sugerează că soluția de stocare Flashblade a Pure Storage are performanțe cel puțin egale. bine pentru soluțiile de stocare ale furnizorului de cloud.”

ElPrep, și în special cea mai recentă actualizare elPrep5, este un software pentru analiza datelor de secvențiere, inclusiv apelarea variantelor. Poate fi folosit ca înlocuitor pentru programele de analiză a genomului de ultimă generație, cum ar fi a.o. SAMtools, Picard și GATK4.

„Experimentul nostru de referință arată că elPrep 5 accelerează execuția conductei cu un factor de 8 până la 16x în comparație cu GATK4”, conchide Herzeel. „Concret, elPrep 5 execută conducta de apelare a variantei în mai puțin de 6 ore pentru o probă de genom întreg și are nevoie de mai puțin de 8 minute pentru o probă de exom întreg. ElPrep realizează aceste accelerări folosind inovații algoritmice și paralelizare, rulează pe CPU obișnuit. servere fără acceleratoare specializate și utilizează mai puține resurse RAM și disc.”

(Fluierul)