_ Nou instrument statistic pentru distinge caracteristicile partajate și unice în datele din diferite surse

Atunci când se confruntă cu un set de date descurajantă, analiza componentelor principale (PCA), cunoscută sub numele de PCA, poate ajuta la distilarea complexității prin găsirea unor caracteristici semnificative care explică cea mai semnificativă proporție a variației datelor.

Cu toate acestea, PCA vine cu ipoteza de bază că toate sursele de date sunt omogene.

Creșterea conectivității la Internet of Things reprezintă o provocare, deoarece datele colectate de „ clienții”, cum ar fi pacienții, vehiculele conectate, senzorii, spitalele sau camerele, sunt incredibil de eterogene. Pe măsură ce această gamă tot mai mare de tehnologii, de la ceasuri inteligente la instrumente de producție, colectează date de monitorizare, este nevoie de un nou instrument analitic pentru a dezlega datele eterogene și a caracteriza ceea ce este partajat și unic în datele din ce în ce mai complexe din mai multe surse.

„Identificarea semnificativă”. punctele comune dintre aceste dispozitive reprezintă o provocare semnificativă. În ciuda cercetărilor ample, nu am găsit nicio metodă existentă care să poată extrage caracteristicile unice și interpretabile și identificabile partajate din diferite seturi de date", a declarat Raed Al Kontar, profesor asistent de inginerie industrială și operațională.

Pentru a face față acestei provocări, cercetătorii de la Universitatea din Michigan, Niaichen Shi și Raed Al Kontar, au dezvoltat o nouă metodă „PCA personalizată” sau PerPCA, pentru a decupla componentele partajate și unice de datele eterogene. Rezultatele vor fi publicate în Journal of Machine Learning Research.

„Metoda personalizată PCA folosește tehnici de învățare a reprezentării de rang scăzut pentru a identifica cu exactitate atât componentele partajate, cât și componentele unice, cu garanții statistice bune”, a spus Shi, mai întâi. autor al lucrării și doctorand în inginerie industrială și operațională.

„Ca o metodă simplă care poate identifica în mod eficient caracteristicile comune și unice, ne imaginăm că PCA personalizată va fi utilă în domenii precum genetica, procesarea semnalului de imagine. , și chiar modele de limbă mari."

Mărind și mai mult utilitatea, metoda poate fi implementată într-un mod complet federat și distribuit, ceea ce înseamnă că învățarea poate fi distribuită între diferiți clienți, iar datele brute nu trebuie să fie să fie împărtășită; numai caracteristicile partajate (și nu unice) sunt comunicate între clienți.

„Acest lucru poate îmbunătăți confidențialitatea datelor și poate economisi costurile de comunicare și stocare”, a spus Al Kontar.

Cu PCA personalizat , diferiți clienți pot construi în colaborare modele statistice puternice, în ciuda diferențelor considerabile dintre datele lor. Caracteristicile unice și partajate extrase codifică informații bogate pentru analiza în aval, inclusiv gruparea, clasificarea sau detectarea anomaliilor.

Cercetătorii au demonstrat capacitățile metodei extragând în mod eficient subiecte cheie din 13 seturi diferite de date ale transcripțiilor dezbaterilor prezidențiale din SUA. din 1960 până în 2020. Ei au reușit să discearnă subiecte și cuvinte cheie comune și unice.

PCA personalizat folosește caracteristici liniare care sunt ușor de interpretat de către practicieni, îmbunătățind și mai mult utilizarea în aplicații noi.

(Fluierul)