_ TfL și Sadiq Khan au încercat „deranjant” sistem de inteligență artificială pentru a încerca să prindă eschișii ​​tarifelor, care au trebuit să fie reprogramați după identificarea copiilor drept escroci

Transport pentru Londra testat o „stație inteligentă” alimentată de inteligență artificială, în încercarea de a identifica cei care eschivează tarifele - doar pentru inițiativa „deranjantă” de a identifica accidental copiii care călătoresc cu părinții lor drept escroci.

TfL - al cărui președinte este Sadiq Khan - intenționează să extindă un proces de  AI software care avea a fost conectat la CCTV la stația de metrou Willesden Green timp de un an, ceea ce a stârnit îngrijorări din partea militanților care avertizează că ar putea fi utilizat pentru o supraveghere mai largă.

Algoritmii de recunoaștere a imaginilor antrenați de TfL și poliție înainte de lansarea procesului au folosit camerele CCTV existente de 20 de ani ale stației pentru a recunoaște rătăcitorii, oamenii de pe piste și chiar cei cu cuțite și arme, precum și cei care eschivează tarifele.

Dar sistemul a trebuit să fie reinstruit după identificarea copiilor care călătoreau gratuit. cu adulții ca potențiali escroci care trec prin bariere. TfL a depășit eroarea prin reprogramarea sistemului pentru a semnala doar persoanele mai înalte decât barierele de bilete.

Inițial, imaginile cu eschivarea tarifelor au fost estompate pentru a ascunde identitățile presupuselor infractori. Dar TfL a evidențiat ulterior fețele și alertele automate de evitare a tarifelor; personalul trebuie să fie martor la actul de evitare a tarifelor și să-l potrivească cu imaginile pentru a urmări urmărirea penală.

A ales să facă acest lucru deoarece a fost copleșit de numărul mare de persoane care nu-și plătesc tarifele: până la 300 într-o zi doar în stația Willesden Green. 

Documentele publicate în temeiul legilor privind libertatea de informare la începutul acestei luni au dezvăluit acum cum, în cadrul procesului, personalul a avut ochi peste tot în orice moment - datorită tehnologiei „inteligente” care le-a introdus în evenimente de peste stație prin alerte trimise pe iPad-urile lor. 

Stația, pe liniile Jubilee și Metropolitan, a fost aleasă deoarece servește ca o oprire „locală” cu perioade aglomerate în care are relativ puțini lucrători de serviciu - și pentru că sponsorul principal al proiectului a fost fostul manager al liniei Jubilee.

În cazul evazilor de tarif, sistemul nu folosește recunoașterea facială pentru a-i identifica pe cei acuzați că au depășit barierele. 

În schimb, recunoaște potențialele comportamente de evaziune a tarifelor - cum ar fi „tragerea” pe alți pasageri prin porți, forțarea barierelor deschise sau chiar târarea sub ei - și îl semnalează personalului TfL, care apoi trebuie să conecteze incidentele între ele manual după ce a fost martorul unui tarif care se eschivează.

Folosind datele semnalate de camere, inspectorii pot apoi, în teorie, să construiască un model de când călătoresc echipele tarifare - și se aruncă asupra lor pentru a-i prinde în flagrant și a percepe amenzi. 

Dar TfL a fost de acord cu sindicatele înainte de a începe procesul că angajații stației nu vor fi anunțați despre evaziunea tarifelor în timp real, cu scopul de a urmări imediat cei care eschivează tarifele - de teamă că personalul ar putea fi atacat ca răzbunare. 

Sistemul a detectat 26.000 de alerte de evaziune a tarifelor de la 1 noiembrie 2022 până la 30 septembrie 2023 - dar organismul de transport spune că „a rămas fără timp” înainte de a reuși de fapt să înceapă să se ocupe de evaziunea tarifelor după instruirea sistemului și personalul de predare cum să le raporteze.

Dacă ar fi lansate ca o încercare completă, „stațiile inteligente” ar fi o armă valoroasă în lupta TfL împotriva eschivurilor de bilete - alături de camerele purtate de corp, care sunt în curs de desfășurare pentru personalul stației.

Rețeaua de transport din Londra pierde 150 de milioane de lire sterline pe an din cauza evaziunii tarifare, iar numărul de persoane pe care îi urmărește în judecată scade,Evening Standard rapoarte. Penalizarea pentru neplata pentru călătorie va crește de la 80 de lire sterline la 100 de lire sterline în acest an.

Siwan Hayward, directorul de securitate, poliție și aplicare al TfL, a insistat anul trecut că tehnologia „stației inteligente” va fi să nu fie un „instrument de recunoaștere facială”.

Ea a spus în decembrie: „Proiectul pilot a reușit să detecteze tentativele de evaziune a tarifelor prin linia de acces și să ne îmbogățească datele și cunoștințele despre nivelurile și metodele de evaziune a tarifelor.

„În urma unei evaluări de către echipa noastră de siguranță, sănătate și mediu, vom trece acest lucru la o încercare în stație pentru a-i monitoriza eficacitatea.”

În afara evitării tarifelor, TfL a descoperit că sistemul poate fi instruit în alte situații în care oamenii ar putea avea nevoie de ajutor - sau în care ar putea fi în pericol.

Sistemul poate identifica persoanele care trec prin porțile de la capetele platformelor - care sunt interzise publicului – precum și persoanelor care stau pe o bancă mai mult de 10 minute, aplecate peste platforme sau chiar pe șine.

În mod similar, pot fi detectate căderi și căderi, precum și persoanele care fumează sau vaping, oricine care poartă arme și genți nesupravegheate, precum și biciclete desfăcute și scutere electrice, care sunt interzise în trenurile subterane.

Persoanele în scaune cu rotile care ar putea avea nevoie de ajutor suplimentar au fost, de asemenea, evidențiate de sistemul de la Willesden Green. - care nu are acces fără pași.

Personalul a fost informat cu privire la orice incidente de acest fel în timp real cu notificări push iPad - ca cele trimise de orice altă aplicație - ceea ce înseamnă că, teoretic, ar putea răspundeți-le imediat ce s-au întâmplat.

La capătul mai puțin grav al scalei, ar însemna că oamenii care au nevoie de ajutor ar putea fi consultați imediat - dar la celălalt capăt, ar putea chiar salva vieți după ce a semnalizat oameni pe șine sau a stat în locuri nesigure pe platforme.

TfL nu a lansat nicio informație despre dacă au fost declanșate alerte pentru persoanele aflate în situații care pun viața în pericol.

În toate , 44.000 de alerte au fost declanșate în perioada de probă între octombrie 2022 și septembrie 2023 - dintre care 19.000 au fost „în timp real”, necesitând un răspuns, celelalte 25.000 fiind folosite pentru „analitice” pentru a antrena mai mult sistemul.

TfL a descris proiectul „stație inteligentă” drept o „dovadă de concept incitantă” care a avut ca scop să ajute personalul să identifice și să rezolve incidentele din stații cât mai repede posibil. Nu a publicat costurile asociate cu proiectul.

Dar militanții pentru libertățile civile spun că trebuie avut grijă să nu permită sistemului să evolueze într-o capcană de supraveghere atotștiutoare.

Sara Chitseko, de la organismul de promovare a drepturilor digitale Open Rights Group, a declarat pentru MailOnline: „Deși aceste capabilități par să fi fost implementate într-un mod sensibil, tehnologia ar putea fi reutilizat cu ușurință pentru a fi folosit pentru a încorpora recunoașterea facială, pentru a urmări protestatarii și pentru a fi altfel deschis la abuzuri din partea autorităților de poliție cu supraveghere limitată.

„TfL a fost întotdeauna dornic să ofere poliției acces la sistemele de date, inclusiv Oyster și CCTV, în scopuri de poliție, așa că este foarte ușor să ne imaginăm că acest sistem va deveni utilizat în mod obișnuit ca parte a capacităților de poliție ale Londrei.

„Acest lucru ar fi deosebit de îngrijorător, având în vedere supra-poliția în anumite zone și comunități de către o forță de poliție care a fost descrisă anul trecut într-un raport guvernamental drept instituțional rasist, misogin și homofob. 

„Dăunele supravegherii au fost evidențiate în uciderea de către poliție a lui Chris Kaba, care a fost identificat greșit în timp ce conducea un vehicul semnalizat de ANPR.

„Prin urmare, avem nevoie urgentă de legislație care să reglementeze utilizarea acestei tehnologii înainte ca TfL să introducă capacități suplimentare care sunt mai potrivite pentru o stare de supraveghere.”

Campanierii sunt, de asemenea, îngrijorați de potențialul sistemului de a identifica greșit false pozitive ar trebui să fie programul să fie extins - în special în ceea ce privește anumite tipuri de comportament pe care încearcă să le recunoască.

De exemplu, sistemul identifică în prezent orice exemplu de cineva cu brațele ridicate ca fiind „agresiv” - un defect pe care TfL l-a recunoscut în rapoarte, în care personalul care pune afișe a fost semnalat ca indicând un comportament nedorit.

Cu toate acestea, utilizarea gestului pentru a indica agresiune ar putea funcționa și în sens invers: personalul ar putea ridica brațele atunci când se confruntă cu o persoană agresivă. client, de exemplu, pentru a trage un semnal de alarmă cu colegii fără a face o scenă. 

Dar Madeleine Stone, de la grupul de confidențialitate Big Brother Watch, a declarat pentru MailOnline: „Călătorii pe metrou vor fi deranjați să afle că au fost monitorizate în secret și supuse analizei comportamentale și ale mișcării prin supraveghere bazată pe inteligență artificială. 

„Folosirea unui algoritm pentru a determina dacă cineva este „agresiv” este profund defectuoasă și a fost deja sfătuită de datele din Regatul Unit. cainele de pază din cauza unor inexactități grave. 

„Sugestiile conform cărora AI ar putea fi utilizată pentru a identifica persoanele cu probleme de sănătate mintală, femeile însărcinate sau persoanele fără adăpost ridică, de asemenea, probleme serioase de confidențialitate și probabil îi vor face pe mulți londonezi să se simtă neliniștiți. capabilitățile camerelor CCTV care le urmăresc călătoriile.

„Normalizarea monitorizării bazate pe inteligență artificială la nodurile de transport este o pantă alunecoasă către o stare de supraveghere.”

Marijus Briedis, expert în securitate cibernetică la software firma NordVPN, a adăugat: „Deși aceste sisteme au potențialul de a îmbunătăți aplicarea și siguranța în sistemele de transport public, ele trebuie să se asigure că există măsuri de protecție adecvate pentru a proteja confidențialitatea și intimitatea persoanelor. securitatea datelor.

„Utilizarea sistemelor de camere alimentate cu inteligență artificială ridică preocupări semnificative cu privire la supraveghere, potențiala utilizare greșită a datelor, securitatea datelor, transparență și responsabilitate.

” În plus, merită să rețineți că orice sistem care colectează și procesează date sensibile este vulnerabil la încălcări de securitate. Sistemele de camere alimentate cu inteligență artificială nu fac excepție.

„Transportul pentru Londra trebuie să fie transparent cu pasagerii săi și cu privire la modul în care sunt utilizate aceste sisteme, ce date sunt colectate și cum sunt protejate”.

TfL a instruit sistemul înainte de lansare cu ajutorul propriului personal și al Poliției Britanice de Transport (BTP).

Lucrătorii stației au învățat software-ul să recunoască incidentele pretinzând că să cadă peste și stând pe șine în timpul orelor neoperaționale, astfel încât camerele să poată recunoaște ceea ce făceau ca fiind situații periculoase.

Un ofițer BTP instruit a fost recrutat și s-a plimbat în jurul stației închise ținând o macetă și un pistol - astfel încât algoritmii să poată recunoaște când cineva făcea acest lucru pe bune și să avertizeze autoritățile.

În cele din urmă, nu au fost detectate sau raportate incidente cu arme la stația Willesden Green în timpul procesului de un an. 

Unele detalii ale datelor de antrenament au fost păstrate sub secret în versiunile lansate ale rapoartelor și prezentărilor despre proiectul „stații inteligente”. 

Dar TfL spune că sistemul a detectat „mai multe incidente” de oameni care se prăbușeau în stație și sute de alte anunțuri care le amintesc oamenilor să stea în spatele liniei galbene de pe platformă, prevenind potențial incidente dăunătoare.

TfL însuși a recunoscut că sistemul nu este perfect - dând vina pe calitatea slabă a imaginii de la dispozitivele sale CCTV, dintre care unele sunt 20. ani vechi și chiar probleme precum lumina soarelui care provoacă strălucire și care aruncă algoritmii software-ului.

Dar sistemul nu este prima dată când organismul de transport din Londra este acuzat de încălcarea libertăților civile. În 2019, a apărut că Se colectau date WiFi de la telefoane mobile pentru a urmări călătoriile pasagerilor prin rețeaua TfL.

TfL a spus că datele anonimizate au fost folosite pentru a afla care rute au fost cele mai populare pe parcursul zilei, pentru pentru a crea o imagine clară a unde și când oamenii călătoreau - ajutând la planificarea viitoare a orarului.

Dar atunci au fost ridicate preocupări cu privire la faptul dacă urmărirea ar putea fi utilizată pentru a identifica persoane - și TfL a confirmat la momentul respectiv. poate partaja analiza datelor, dar nu a datelor în sine, cu poliția sau cu terțe părți.

Un purtător de cuvânt al Transport for London a declarat pentru MailOnline că încercarea „stațiilor inteligente” a fost lansată inițial pentru a informa personalul. de incidente de siguranță înainte de a deveni evident potențialul de depistare a eschivelor tarifelor.

Purtătorul de cuvânt a continuat: 'Pilotul a folosit AI de detectare a imaginii pentru a monitoriza mișcarea clienților prin porțile stației, pentru a identifica cazurile în care (au ) s-ar fi putut sustrage de la plata unui tarif sau a tarifului corect pentru călătoria lor.

„Acest lucru a fost urmărit în scopuri analitice și nu a generat alerte în timp real pentru personalul stației. Acesta nu a fost folosit ca instrument de recunoaștere facială. 

„Vom continua să facem tot ce putem pentru a ne asigura că toată lumea plătește tariful corect și că putem continua să investim în transportul public. 

„În prezent, luăm în considerare proiectarea și domeniul de aplicare a unei a doua faze a studiului.

„Nu au fost luate alte decizii cu privire la extinderea utilizării acestei tehnologii, fie la alte stații, fie la adăugarea acestora. capacitate. 

„Orice implementare mai largă a tehnologiei dincolo de un pilot ar depinde de o consultare completă cu comunitățile locale și alte părți interesate relevante, inclusiv experți în domeniu.”

(Fluierul)