Gestiunea riscurilor în utilizarea

inteligenței artificiale
Sursele riscurilor
Sursele riscurilor

Crearea datelor
• Prejudecăți de raportare Dezvoltarea procesului
• Stereotipuri implicite • Alegerea setului de date pentru
Comportamentul utilizatorului
etice

• Eroare de eșantionare antrenare/evaluare

Anotarea datelor influențat de
• Alegerea interfeței sau a limbajului • Convingeri anterioare
• Prejudecăți de grup (in-group pentru interacțiunea cu utilizatorul
bias) • Prejudecăți inconștiente
• Personalizare/localizare algoritmică • Efortul depus
• Prejudecăți de confirmare
• Încrederea în sistem

Datele de Obiectele media

Utilizatorul
antrenament Modelele sunt sunt filtrate,
interacționează cu
sunt colectate antrenate ordonate,
rezultatul
și notate generate
Intervenții

Intervenții la nivelul utilizatorului:

Intervenții la nivelul procesului:
posibile

Intervenții la nivelul datelor: • Instrumente pentru explicarea

• Creșterea gradului de conștientizare
• Analiza critică a proceselor deciziilor/proceselor sistemului către
a prejudecăților neintenționate utilizator
umane și automate de creare și
• Promovarea dezvoltării unor • Instrumente pentru a perturba bucla de
notare a datelor procese transparente și modele feedback utilizator-sistem
• Urmărirea surselor de diversitate inteligibile
• Instruire pentru promovarea alfabetizării
algoritmice
Principii AI responsabil
Creștere favorabilă incluziunii, dezvoltare
durabilă și bunăstare
• Creșterea capacităților umane
• Îmbunătățirea creativității
• Promovarea incluziunii populațiilor subreprezentate
• Reducerea inegalităților economice, sociale, de gen și de altă natură
• Protejarea mediilor naturale, revigorând astfel creșterea incluzivă,
bunăstarea, dezvoltarea durabilă și sustenabilitatea mediului.
Respectarea statului de drept, a drepturilor
omului și a valorilor democratice
• Nediscriminarea și egalitatea
• Libertate
• Demnitate
• Autonomia persoanelor
• Confidențialitate și protecția datelor
• Diversitate
• Echitate
• Justiție socială
• Drepturile lucrătorilor recunoscute la nivel internațional.
Respectarea statului de drept, a drepturilor
omului și a valorilor democratice
• Combaterea dezinformării și a dezinformării amplificate de IA
• Să respecte libertatea de exprimare și alte drepturi și libertăți protejate de
dreptul internațional aplicabil.
• Implementarea mecanismelor și garanțiilor pentru a aborda riscurile care
decurg din utilizări în afara scopului propus, utilizare abuzivă intenționată
sau abuzivă neintenționată într-o manieră adecvată contextului și în
concordanță cu stadiul actual al tehnologiei.
Transparență și explicabilitate
• Promovarea unei înțelegeri generale a sistemelor de IA, inclusiv a
capacităților și limitărilor acestora.
• Informați părțile interesate cu privire la interacțiunile lor cu sistemele de IA,
inclusiv la locul de muncă.
• Furnizarea de informații simple și ușor de înțeles cu privire la sursele de
date/intrări, factori, procese și/sau logică care au condus la predicție,
conținut, recomandare sau decizie, pentru a permite celor afectați de un
sistem de IA să înțeleagă rezultatele.
• Furnizarea de informații care să le permită celor afectați negativ de un
sistem de IA să conteste rezultatele acestuia.
Robustețe, securitate și siguranță
• Sistemele de IA trebuie să fie robuste, sigure și sigure pe parcursul întregului
lor ciclu de viață.
• Trebuie să existe mecanisme pentru a se asigura că, în cazul în care
sistemele de IA riscă să provoace daune nejustificate sau prezintă un
comportament nedorit, acestea pot fi anulate, reparate și/sau scoase din
funcțiune în siguranță, după cum este necesar.
• Trebuie să existe mecanisme pentru a consolida integritatea informației,
asigurând în același timp respectarea libertății de exprimare.
Responsabilitate
• Actorii IA trebuie să fie trași la răspundere pentru buna funcționare a
sistemelor IA și pentru respectarea principiilor IA.
• Actorii IA trebuie să asigure trasabilitatea, inclusiv în ceea ce privește
seturile de date, procesele și deciziile luate în timpul ciclului de viață al
sistemului de IA, pentru a permite analiza rezultatelor sistemului de IA și a
răspunsurilor la anchetă, adecvate contextului și în concordanță cu stadiul
actual al tehnologiei.
• Actorii IA trebuie să aplice o abordare sistematică de gestionare a riscurilor
în fiecare fază a ciclului de viață al sistemului de IA în mod continuu și să
adopte o conduită responsabilă în afaceri pentru a aborda riscurile legate de
sistemele de IA.
IA și prelucrarea categoriilor speciale de date cu caracter personal

Cauza C252/21 – Meta/Bundeskartellamt:

• Ar trebui făcută o distincție între datele care sunt sensibile la prima vedere
și datele care nu sunt sensibile în mod inerent, dar care necesită agregare
ulterioară pentru a trage concluzii plauzibile în scopul creării de profiluri.

 Motivul unei astfel de abordări este probabil de a preveni clasificarea

datelor care nu vor fi agregate, în ciuda faptului că este teoretic posibil, ca
date de "categorie specială".

© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal
Categorii speciale de date cu caracter personal (date cu caracter personal sensibile):
o Acestea sunt date cu caracter personal care sunt atât de sensibile încât ar trebui prelucrate numai în cazuri foarte specifice
o Există, totuși, excepții
o Când o persoană vizată își dă consimțământul explicit;
o În cazul în care acest lucru este în interesul public, în special prelucrarea datelor cu caracter personal în domeniul
dreptului muncii, al protecției sociale sau al amenințărilor grave la adresa sănătății publice.
o În cazul în care este necesar pentru a proteja interesele vitale ale persoanei vizate sau ale unei alte persoane fizice, în
cazul în care persoana vizată este incapabilă din punct de vedere fizic sau juridic să își dea consimțământul;
o În cursul activităților sale legitime, cu garanții adecvate de către o fundație, asociație sau orice altă
organism non-profit cu scop politic, filozofic, religios sau sindical;
o Atunci când prelucrarea se referă la date cu caracter personal care sunt făcute publice în mod evident de către
persoana vizată;
o În cazul în care este necesar pentru constatarea, exercitarea sau apărarea unor pretenții în justiție, fie în cadrul unei
proceduri judiciare, fie într-o procedură administrativă sau extrajudiciară.

• Cu toate acestea, o excepție nu înseamnă că nu mai trebuie să respectați nicio condiție:

o Trebuie să luați măsuri adecvate și specifice pentru a proteja interesele și confidențialitatea persoanei vizate
o În calitate de operator, va trebui să luați măsuri suplimentare cu privire la prelucrarea datelor cu caracter personal sensibile (adică efectuarea
întotdeauna a unei evaluări a impactului asupra protecției datelor / DPIA)

© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal

Luarea automată a deciziilor = procesul de luare a unei decizii prin mijloace automate, fără nicio implicare umană,
inclusiv profilarea
• Exemplu:
• O comisie de examinare folosește un sistem automat pentru a marca foile de răspuns la examenul cu răspunsuri
multiple. Sistemul este preprogramat cu numărul de răspunsuri corecte necesare pentru a obține note de
trecere și distincție. Scorurile sunt atribuite automat candidaților în funcție de numărul de răspunsuri corecte,
iar rezultatele sunt disponibile online.

Profilare = orice formă de prelucrare automată a datelor cu caracter personal care constă în utilizarea datelor cu caracter
personal pentru a evalua anumite aspecte cu caracter personal referitoare la o persoană fizică
• Exemplu:
- Utilizarea postărilor pe rețelele de socializare pentru a analiza personalitatea șoferilor de mașini prin utilizarea
unui algoritm pentru a analiza cuvinte și expresii care sugerează conducerea "sigură" și "nesigură" pentru a
atribui un nivel de risc unei persoane și a stabili prima de asigurare în consecință.

© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal

Luarea automată a deciziilor cu categorii speciale de date conform GDPR

• Articolul 22 din RGPD:
Persoana vizată are dreptul de a nu face obiectul unei decizii bazate exclusiv pe prelucrarea automată, inclusiv
crearea de profiluri, care produce efecte juridice care o privesc sau o afectează în mod similar în mod semnificativ.

 CJUE, 7 decembrie 2023, cauza C-634/21 (Schufa): acesta poate fi, de asemenea, un simplu act pregătitor!

• "Efecte juridice" = un impact asupra drepturilor juridice sau a statutului juridic al persoanei (de exemplu, dreptul
său de a vota)
• "Afectare semnificativă" = o influență asupra circumstanțelor personale, a comportamentului sau a alegerilor
(de exemplu, refuzul unei cereri de credit online)

• Permis când:
• Necesar pentru încheierea sau executarea unui contract între persoana vizată și un operator de date;
• autorizate de dreptul Uniunii sau de dreptul intern la care se supune operatorul și care stabilește, de
asemenea,
măsuri adecvate pentru a proteja drepturile și libertățile și interesele legitime ale persoanei vizate;
• Pe baza consimțământului explicit al persoanei vizate.
© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal

Luarea automată a deciziilor cu categorii speciale de date conform GDPR

• Articolul 22 alineatul (4) din RGPD: deciziile automatizate nu se bazează pe categorii
speciale de date cu caracter personal, cu excepția cazului în care:
• Persoana vizată și-a dat consimțământul explicit pentru prelucrarea acestor date cu caracter
personal pentru unul sau mai multe scopuri specificate;
• Prelucrarea este necesară din motive de interes public substanțial, în temeiul dreptului Uniunii sau
al statului membru, care este proporțional cu scopul urmărit, respectă esența dreptului la protecția
datelor și prevede măsuri adecvate și specifice pentru protejarea drepturilor fundamentale și a
intereselor persoanei vizate.

și sunt în vigoare măsuri adecvate pentru a proteja drepturile, libertățile și interesele legitime ale
persoanei vizate.

© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal

Luarea automată a deciziilor cu categorii speciale de date conform

GDPR

Articolul 22 alineatul (3) din RGPD:

• Cu excepția cazului în care deciziile automatizate se bazează pe legislația UE
sau pe legislația națională, persoanele vizate
trebuie să fie informat cu privire la:
• logica implicată în procesul de luare a deciziilor;
• dreptul lor de a obține intervenție umană;
• consecințele potențiale ale prelucrării; și
• dreptul lor de a contesta decizia.

© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal
Luarea automată a deciziilor cu categorii speciale de date conform GDPR
Ar trebui evitate deciziile automatizate cu privire la datele copiilor, deoarece aceștia reprezintă un grup mai
vulnerabil al societății (considerentul 71 din RGPD)
• WP29 recomandă ca operatorii de date să nu se bazeze pe excepții de la interzicerea procesului
decizional automatizat pentru a justifica acest lucru. Mai mult, WP29 recomandă să nu se
efectueze profilarea copiilor în scopuri de marketing.
- Exemplu de carcasă TikTok
• Cu toate acestea, în cazul în care este necesar să se efectueze un proces decizional automat în legătură cu
(de exemplu, pentru a le proteja bunăstarea), trebuie luate în considerare următoarele principii:
• Trebuie să existe garanții adecvate pentru copii pentru a-și proteja drepturile, libertățile și
interesele legitime;
• Ar trebui respectate codurile de conduită care încorporează astfel de garanții și descriu modul în
care se poate obține consimțământul titularilor răspunderii părintești asupra copiilor.

© ECPC 2024
 IA și prelucrarea categoriilor speciale de date cu caracter personal
Luarea automată a deciziilor cu privire la categorii speciale de date în conformitate cu
Legea privind IA
Articolul 14 din Legea privind IA:
Sistemele de IA cu grad ridicat de risc sunt proiectate și dezvoltate astfel încât, inclusiv cu instrumente adecvate
de interfață om-mașină, încât să poată fi supravegheate în mod eficace de către persoanele fizice în perioada
în care sunt utilizate.
Supravegherea umană urmărește să prevină sau să reducă la minimum riscurile pentru sănătate, siguranță
sau drepturile fundamentale care pot apărea atunci când un sistem de IA cu grad ridicat de risc este utilizat
în conformitate cu scopul preconizat sau în condiții de utilizare abuzivă previzibilă în mod rezonabil, în
special în cazul în care astfel de riscuri persistă în pofida aplicării altor cerințe prevăzute în prezenta
secțiune.

• Concentrarea pe implicarea umană: cerința unei supravegheri umane semnificative p e t o t

parcursul dezvoltării, implementării și utilizării sistemelor
de IA cu risc ridicat
- De exemplu, reconsiderarea deciziilor individuale, revizuirea datelor de antrenament și a algoritmilor
sistemului de IA pentru potențiale prejudecăți, monitorizarea performanței sistemului, intervenția în
căile critice de luare a deciziilor etc.
© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal

Luarea automată a deciziilor cu privire la categorii speciale de

date conform Legii AI

Excepție de la articolul 14 din Legea privind IA:

Cerința unei verificări separate de către cel puțin două persoane
fizice nu se aplică sistemelor de IA cu grad ridicat de risc utilizate în
scopul aplicării legii sau în domeniul imigrației, al controlului la frontiere
ori al azilului, în cazurile în care dreptul Uniunii sau dreptul intern
consideră că aplicarea acestei cerințe este disproporționată..

© ECPC 2024
IA și prelucrarea categoriilor speciale de date cu caracter personal

Concluzie privind luarea automată a deciziilor cu privire la categoriile speciale de date:

 GDPR permite persoanelor să se opună deciziilor exclusiv automatizate, în timp ce Legea AI
impune supravegherea umană proactivă a sistemelor AI cu risc ridicat pentru a se proteja
împotriva potențialelor prejudecăți și pentru a asigura dezvoltarea și utilizarea responsabilă a unor
astfel de sisteme.

Exemplu:
• O agenție guvernamentală folosește un sistem AI pentru a evalua eligibilitatea pentru beneficii
sociale pe baza venitului, a statutului profesional și a situației familiale.
• În conformitate cu GDPR, persoanele fizice au dreptul de a nu fi supuse exclusiv prelucrării automate
pentru eligibilitatea pentru prestații sociale (art. 22). Aceasta înseamnă că pot solicita o reexaminare a
unei decizii automate de către un factor de decizie uman.
• În conformitate cu Legea AI, acest sistem AI este clasificat ca un sistem cu risc ridicat (deoarece are un
impact semnificativ asupra mijloacelor de trai ale indivizilor). Acest lucru necesită ca agenția
guvernamentală să implementeze supravegherea umană pe tot parcursul dezvoltării, implementării și
utilizării sistemului AI.
© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

1. În timpul antrenamentului sistemului AI

Dreptul la confidențialitate
• Implementare: utilizați tehnici de păstrare a confidențialității, cum ar fi anonimizarea,
pseudonimizarea și criptarea în timpul colectării și stocării datelor
- Asigurați-vă că datele sunt utilizate numai în scopurile propuse (minimizarea datelor)

• Provocări:
- Anonimizarea completă a datelor, păstrându-le utilitatea poate fi dificilă
- Agregarea datelor poate reidentifica neintenționat persoane

• Exemplu: Google folosește differential privacy în sistemele sale pentru a permite analiza statistică
fără a expune puncte de date individuale

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

1. În timpul antrenamentului sistemului AI

Dreptul la consimțământ
• Implementare: implementarea mecanismelor pentru obținerea consimțământului explicit pentru
utilizarea datelor la punctul de colectare
- Oferiți opțiuni de renunțare pentru persoane fizice: dreptul de a retrage consimțământul

• Provocări:
- Consimțământul informat este o provocare în sistemele complexe în care utilizările din aval ale datelor pot să nu
fie clare
- Gestionarea continuă a consimțământului poate consuma resurse

• Exemplu: aplicații precum Apple Health oferă controale de consimțământ granulare, permițând
utilizatorilor să specifice ce date pot fi utilizate și în ce scopuri.

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

1. În timpul antrenamentului sistemului AI

Dreptul la explicație

• Implementare: construiți modele interpretabile sau utilizați tehnici de explicabilitate pentru a face deciziile
ușor de înțeles
- Oferiți explicații ușor de utilizat ale rezultatelor AI

• Provocări:
- Echilibrarea performanței modelului cu interpretabilitatea, în special în modelele complexe de învățare
profundă
- Obligațiile legale, cum ar fi "dreptul la explicație" al GDPR, pot fi greu de îndeplinit în modele opace

• Exemplu: Un sistem AI utilizat în scorul de credit oferă motive detaliate pentru decizii, cum ar fi "venituri
mici" sau "istoric de credit limitat"
© ECPC 2024
Drepturile individuale în ciclul de viață al IA

1. În timpul antrenamentului sistemului AI

Dreptul la rectificare
• Implementare: încorporați instrumente pentru a identifica și elimina datele inexacte în timpul
antrenamentului (de exemplu, filtrarea datelor zgomotoase)
- Mențineți legături clare între datele de antrenament și sursele acestora pentru a permite rectificarea

• Provocări:
- Datele istorice sau agregate nu au adesea identificatori clari, ceea ce face dificilă rectificarea
- Reantrenarea modelelor cu date corectate poate consuma resurse

• Exemplu: Un model predictiv de sănătate antrenat pe înregistrări învechite ale pacienților duce
la rezultate inexacte. Corectarea înregistrărilor și recalificarea sunt necesare.

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

1. În timpul antrenamentului sistemului AI

Dreptul la ștergerea datelor ("Dreptul de a fi uitat")

• Implementare: dezvoltarea mecanismelor de eliminare a punctelor sau modelelor de date specifice din
modele
- Menținerea pistelor de audit pentru ștergerea datelor

• Provocări:
- Modelele mari pot codifica neintenționat date sensibile, ceea ce face dificilă conformitatea
deplină
- Eliminarea datelor dintr-un model fără reinstruire poate fi complexă din punct de vedere tehnic

• Exemplu: OpenAI s-a confruntat cu provocări cu modelele sale GPT în care datele sensibile furnizate
de utilizatori ar putea apărea în rezultate. Rezolvarea acestui lucru necesită instruirea, igienizarea
datelor și politici mai stricte de guvernanță a datelor.

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

1. În timpul antrenamentului sistemului AI

Dreptul la ștergerea datelor ("Dreptul de a fi uitat")
• Cele mai bune practici conform CNIL:

Deoarece soluțiile tehnice disponibile în prezent nu sunt satisfăcătoare în toate cazurile

în care un model face obiectul RGPD, este o bună practică să se respecte o perioadă
rezonabilă de timp între momentul în care setul de date de antrenament este
configurat și momentul în care modelul este antrenat în practică sau după
diseminarea setului de date, pentru a permite persoanelor vizate să își exercite
drepturile.

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

1. În timpul antrenamentului sistemului AI

Dreptul la portabilitatea datelor

• Implementare: oferă formate de date exportabile pentru ca persoanele fizice să-și

transfere datele
Alte sisteme

• Provocări:
- Asigurarea faptului că datele sunt transferate într-un format interoperabil și sigur
- Echilibrarea portabilității cu preocupările legate de proprietate

• Exemplu: Facebook permite utilizatorilor să-și descarce datele și să le transfere

pe alte platforme prin intermediul proiectului său de transfer de date.

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

2. În ceea ce privește rezultatele sistemului de IA

Dreptul la rectificare
• Implementare: utilizați tehnici precum "dezvățarea datelor" pentru a elimina sau actualiza anumite
puncte de date dintr-un model antrenat.

• Provocări:
- Modelele pot generaliza din date incorecte, ceea ce face ca eliminarea punctelor specifice să fie insuficientă
- Reinstruirea modelelor poate fi costisitoare și consumatoare de timp

• Exemplu: Un client solicită eliminarea datelor financiare inexacte dintr-un sistem de recomandare.
Reantrenarea modelului, menținând în același timp acuratețea acestuia, este complexă.

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA
2. În ceea ce privește rezultatele sistemului de IA
Dreptul la un tratament echitabil
• Implementare: efectuarea de audituri de părtinire și teste de corectitudine în
timpul fazelor de instruire și validare
- Utilizați seturi de date reprezentative pentru a reduce rezultatele părtinitoare.

• Provocări:
- Prejudecățile sistematice în datele de antrenament pot perpetua inegalitățile
- Operaționalizarea corectitudinii este subiectivă și specifică contextului

• Exemplu: S-a constatat că un instrument AI de angajare este părtinitor împotriva

femeilor din cauza practicilor istorice de angajare. Abordarea acestui lucru a implicat
reproiectarea sistemului și diversificarea datelor de antrenament.

© ECPC 2024
 Drepturile individuale în ciclul de viață al IA

• Proiectarea sistemelor de IA pentru a include procese "human-in-the-loop" pentru

deciziile critice
- Probleme:
- Determinarea momentelor în care intervenția umană este necesară și eficientă
- Antrenarea oamenilor pentru a înțelege și a trece peste AI atunci când este necesar

• Atribuiți o responsabilitate clară pentru rezultatele IA

- Probleme:
- Responsabilitatea partajată între mai multe părți interesate poate dilua responsabilitatea
- Ambiguitate în standardele de reglementare pentru responsabilitatea IA

© ECPC 2024
Exercițiu
Spitalul „Nemesis” dorește să își previzioneze mai bine achizițiile de
echipamente, consumabile și medicamente. Pentru acest lucru, dorește să
cumpere un software de inteligență artificială predictivă, SpitaliaBong, care
trebuie train-uit cu toate datele tuturor pacienților care au trecut vreodată prin
Spitalul „Nemesis”: fișe de intrare, fișe de externalizare, diagnostice,
tratamente, fișe pacient etc.
Identificați riscuri și măsuri de atenuare a riscurilor
Sisteme de recunoaștere facială

© ECPC 2024
 Sisteme de recunoaștere facială

Dreptul la confidențialitate
• Monitorizați dacă nu sunt utilizate date cu caracter personal în antrenamentul sistemului AI
- Provocare: anonimizarea completă a datelor, păstrându-le utilitatea poate fi dificilă pentru antrenament

Dreptul la un tratament echitabil

• Utilizați strategii de atenuare a prejudecății pentru a asigura un tratament echitabil în toate categoriile
demografice
- Provocare: preocupările semnificative legate de prejudecăți rămân de documentat în aplicațiile AI

Consimțământ:
• Încorporați consimțământul înainte de colectarea datelor
- Provocare: asigurarea consimțământului în spațiile publice este aproape imposibilă

© ECPC 2024
 Sisteme de recunoaștere facială
Dreptul la explicație
• Activați transparența pe parcursul întregului ciclu de viață al IA
- Provocare: "Cutia neagră" – problema IA

Dreptul la ștergerea datelor

• Persoanele vizate au dreptul de a fi eliminate complet dintr-un model de IA
- Provocare: eliminarea datelor dintr-un model fără reinstruire poate fi complexă din
punct de vedere tehnic

Supravegherea umană:
• Asigurați-vă că deciziile cu miză mare sunt monitorizate de un intermediar
uman
- Provocare: determinarea responsabilității finale

© ECPC 2024
Sisteme de recunoaștere facială

© ECPC 2024
Sisteme de inteligență artificială generativă
Dreptul la confidențialitate
• Instruiți-vă pe date din surse responsabile cu protecții solide ale confidențialității
- Provocare: eliminarea materialului personal încorporat în datele de antrenament poate
fi o provocare din punct de vedere tehnic

Dreptul la un tratament echitabil

• Utilizați strategii de atenuare a prejudecății pentru a asigura un tratament
echitabil în toate categoriile demografice
- Provocare: preocupările semnificative legate de prejudecăți rămân de documentat în
aplicațiile AI
- Posibil: furnizați declinări clare de răspundere cu privire la fiabilitatea rezultatelor

Dreptul la explicație
• Activați transparența pe parcursul întregului ciclu de viață al IA
- Provocare: "Cutia neagră" – problema IA

© ECPC 2024
Dreptul de a obiecta

• Operatorul trebuie să demonstreze motive legitime pentru prelucrare

pentru a nu da curs unei cereri de exercitare a dreptului de opoziție al
persoanei vizate

• Testul de balans: situația particulară a persoanelor vizate care își exercită

dreptul de opoziție împotriva motivelor legitime ale operatorului
 Acest lucru va depinde în principal de riscurile la care se confruntă
persoana vizată

© ECPC 2024
 Ce sunt datele pseudonimizate?

• Prelucrarea datelor cu caracter personal astfel încât datele cu caracter personal să nu

mai poată fi atribuite unei anumite persoane vizate fără utilizarea unor informații
suplimentare, cu condiția ca aceste informații suplimentare să fie păstrate separat și să
facă obiectul unor măsuri tehnice și organizatorice pentru a se asigura că datele cu
caracter personal nu sunt atribuite unei persoane fizice identificate sau identificabile
- Mai simplu spus, împărțiți datele în:
- un set de date care nu mai poate fi atribuit unei anumite persoane vizate
- Informații suplimentare care pot face posibilă reconectarea setului de date cu o anumită
persoană vizată (nu datele cu caracter personal, ci setul de instrumente)
• Nu este o tehnică, este un concept
- Pentru a pseudonimiza cu adevărat datele: este nevoie de mai multe tehnici de
îmbunătățire a confidențialității (tokenizare, criptare, codare,...)
- Se întoarce la noțiunea de SEPARARE FUNCȚIONALĂ
- Pseudonimizarea NU ESTE ANONIMIZARE EȘUATĂ

© ECPC 2024
Noua definiție a pseudonimizării în conformitate cu GDPR

Feminin
Alexis Smith Vârsta mijlocie
47
Valoarea
Identitate informației

© ECPC 2024
© ECPC 2024
 Beneficiile pseudonimizării

Reducerea obligațiilor de Compatibilitatea noilor procese de

date (secundare) [articolul 6 alineatul
publicare/răspunderii pentru încălcările 6 1 (4) din RGPD]
securității datelor [articolele 32, 33 și 34]

Suport pentru prelucrarea intereselor

Sprijin pentru cercetarea legitime
științifică/istorică și prelucrarea 5 2 pentru: [articolul 6 alineatul (1) litera (f)]
statistică pentru a permite: [articolul 89 • Flexibilitate mai mare în respectarea cererilor
alineatul (1)] privind dreptul de a fi uitat/dreptul la ștergere
• Prelucrarea secundară, partajarea și combinarea [Articolul 17 alineatul (1) litera (c)]
• O mai mare flexibilitate în ceea ce privește
datelor prin extinderea limitării scopului [articolul
5 alineatul (1) litera (b)] Beneficiile legale ale respectarea cererilor privind dreptul de a
restricționa prelucrarea [articolul 18 alineatul
Stocarea permisă extinsă a datelor
pseudonimizării în
•
[articolul 5 alineatul (1) litera (e)] (1) litera (d)]
• Excluderea de la dreptul la portabilitatea datelor
Prelucrarea categoriilor speciale de date cu
conformitate cu
•
[Articolul 20 alineatul (1)]
caracter personal "sensibile" [articolul 9 alineatul
(2) litera (j)]
• O mai mare flexibilitate în depășirea dreptului de a
GDPR se opune
Prelucrarea cererilor [articolul 21 alineatul (1)]
Minimizarea datelor, limitarea
scopului și protecția datelor prin Schimbul și combinarea datelor: [articolul 11
proiectare și implicit 43 alineatul (2) și articolul 12 alineatul (2)]
[Articolul 5 alineatul (1) literele (b) și
(c) și articolul 25 alineatul (1)]
© ECPC 2024
Date cu caracter personal – anonimizate vs. pseudonimizate
• Este posibil ca datele cu adevărat anonime să nu ofere valoarea, acuratețea și detaliile
necesare
este flexibil, deoarece "nu există cale de întoarcere" la datele originale și la detaliile
aferente.
• Tehnicile de minimizare și pseudonimizare vor fi adesea mai potrivite:
- Permite maximizarea acurateței, valorii și utilității datelor, respectând în
același timp principiile de confidențialitate
- Permite reconectarea selectivă și gestionată a noilor atribute la datele
originale
- Permite flexibilitatea de a îmbogăți anumite câmpuri în care sunt necesare
mai multe date mai târziu
(în cazul în care acestea ar fi încă conforme)
• Datorită reidentificării controlate, drepturile persoanelor vizate pot fi exercitate în
continuare.

© ECPC 2024
 Guvernanța cazurilor de utilizare
Tip de date Date ca atare Varianta 1: ușor minimizată Varianta 2: minimizată și mai mult Varianta 3: pseudonimizat

• Fotografie •/ •/ •/
• Nume • Ioana Popescu • Ioana Popescu • ID_RE3Kjj33 • ID_345aZJ98
• Data naşterii • 2 iunie 1992 •/ •/ • ID vârstă 125687
• Sex • Feminin • Feminin • Feminin • ID de gen ABC13
• Adresa (strada) • Sapienței 4 •/ •/ •/
• Adresa (oraș) • Oradea • Oradea • Oradea • Jud Bihor

• Departamentul de • Endocrinologie • Endocrinologie • ID unitate dfjm7 • ID unitate dfjm7

referință
•1 •1 •1 • ID de tip KJMKJ12
• Tipul de diabet
• Da • Da •/ • Retino ID sfjL9I
• Retinopatia
• 124 • 110-130 •/ • 124
• Ultima citire a glucozei
© ECPC 2024
© ECPC 2024
© ECPC 2024
 1Vânzătorii susțin și cumpărătorii cred DA; comentariul informat

concluzionează NU.
2Cumpărătorii presupun NU; comentariul informat concluzionează
© Anonos DA. 46 46
2021
Provocări de anonimizare
• Eliminarea identificatorilor direcți (nume, prenume, număr național de
identificare) NU este, în majoritatea circumstanțelor, suficientă
• Conectarea diferitelor puncte de date poate identifica persoana vizată
• Situația clienților:
• Școală în mediul rural, cu doar câteva clase.
• Copiii au trebuit să facă teste online pentru a determina nivelul de alfabetizare digitală al școlii.
• Rezultatele:
Grup vârstă Rezultate băieți Rezultate fete
One person: Ana B.
8-10 …% …%
10-12 …% …%
12-14 …% …%
14-17 …% …%
Estimating the success of re-identifications in incomplete datasets
using generative models
Source: [Link]
Privacy Enhancing
Technologies
Criptare homomorfă
• Definiție: Criptare care permite calcule pe texte cifrate fără a le decripta mai întâi, asigurând că datele rămân confidențiale
în timpul operațiunilor.
• Două tipuri:
• Criptare homomorfă parțială (PHE): Acceptă doar un set limitat de operațiuni.
• Criptare complet homomorfă (FHE): Acceptă atât adunarea, cât și înmulțirea pe texte cifrate.
• Confidențialitatea datelor: Oferă un nivel ridicat de securitate a datelor, chiar și în timpul procesării sau analizei,
asigurând confidențialitatea datelor sensibile.
• Cloud Computing: Permite stocarea și procesarea datelor criptate în cloud fără a dezvălui datele brute furnizorilor de
cloud.
• Cercetare medicală: Permite cercetătorilor să efectueze calcule pe date medicale criptate, asigurând confidențialitatea
pacientului.
• Finanțe: Permite tranzacții și analize financiare criptate fără a expune date financiare sensibile.
• Complexitate: Deși puternică, este intensivă din punct de vedere computațional și poate fi mai lentă decât operațiunile
necriptate.
• Potențial: Cu progresele în eficiența computațională, are potențialul de a revoluționa domeniile care necesită
confidențialitatea datelor.
• Barieră în calea calculului cuantic: Deoarece computerele cuantice amenință multe scheme de criptare, criptarea
homomorfă rămâne rezistentă.
Secure Multiparty Computation (SMC)
• Definiție: Un protocol criptografic care permite mai multor părți să calculeze împreună o funcție peste intrările lor, păstrând
confidențialitatea fiecărei intrări.
• Colaborare fără compromisuri: Părțile pot colabora fără a-și dezvălui datele private altora, chiar dacă unele părți sunt
rău intenționate.
• Two-Party (2PC) și Multi-Party (MPC): În timp ce 2PC implică două entități, MPC extinde acest lucru la mai multe părți,
toate funcțiile de calcul pe datele lor private.
• Aplicații în comerțul electronic: SMPC poate fi folosit pentru compararea prețurilor fără a dezvălui prețurile reale
concurenților.
• Cercetare medicală: Permite cercetătorilor din instituții să analizeze seturi de date combinate fără a partaja datele
individuale ale pacienților.
• Sectorul financiar: Băncile pot calcula indicatorii de risc în mod colectiv, fără a dezvălui date individuale ale clienților sau
algoritmi proprietari.
• Sisteme de vot: SMPC poate facilita votul electronic securizat, asigurând confidențialitatea alegătorilor și acuratețea
numărării.
• Piețe de date: Permite monetizarea datelor în care companiile pot vinde informații bazate pe date fără a expune datele
brute.
• Provocări: SMPC este intensiv din punct de vedere computațional, iar optimizarea eficienței fără a compromite securitatea
este o provocare continuă.
• Evoluție: Odată cu progresele în criptografie și hardware, SMPC devine mai practic și ar putea redefini colaborările de date
în diverse sectoare.
Federated Learning
• Definiție: O abordare de învățare automată în care modelele sunt antrenate la sursa de date, de obicei la dispozitivul de margine, fără a partaja
date brute la nivel central.
• Antrenament descentralizat: Antrenamentul modelului are loc pe dispozitive locale (de exemplu, smartphone-uri) folosind date locale.
• Agregarea modelului global: actualizările locale sunt trimise către un server central, unde sunt agregate pentru a îmbunătăți un model
global, care este apoi trimis înapoi la dispozitive.
• Confidențialitate îmbunătățită a datelor: Datele rămân pe dispozitivul utilizatorului, reducând riscul de încălcare a datelor și asigurând
confidențialitatea utilizatorului.
• Transmisie redusă de date: Sunt trimise numai actualizările modelului, nu datele brute, ceea ce poate duce la reducerea consumului de
lățime de bandă.
• Personalizare în timp real: dispozitivele pot utiliza instantaneu actualizările modelului local pentru experiențe îmbunătățite ale utilizatorilor,
fără a aștepta actualizări centralizate.
• Aplicații: Folosit în domenii precum textul predictiv pe smartphone-uri, predicțiile de sănătate de pe dispozitivele portabile și multe altele.
• Provocări: Necesită algoritmi sofisticați pentru a gestiona actualizările asincrone și pentru a asigura convergența modelului.
• Scalabilitate: Pe măsură ce mai multe dispozitive participă, procesul de agregare poate deveni complex, necesitând tehnici optimizate.
• Viitorul: Pe măsură ce dispozitivele edge continuă să crească în putere de calcul, învățarea federativă va juca un rol și mai mare în dezvoltarea
AI și a învățării automate.
Medii de execuție de încredere (TEE)
• Definiție: O zonă securizată a unui procesor principal care garantează că codul și datele încărcate în interiorul acestuia sunt
protejate împotriva interferențelor externe sau a manipulării.
• Protecția datelor: Asigură izolarea datelor sensibile de restul dispozitivului/sistemului, protejându-le de potențialele
amenințări.
• Integritate și confidențialitate: Garantează că datele și operațiunile efectuate în interiorul TEE nu sunt modificate sau
dezvăluite entităților neautorizate.
• Utilizare în dispozitive mobile: Oferă o enclavă securizată pentru operațiuni precum date de amprentă sau recunoaștere
facială, informații de plată mobilă și multe altele.
• Cloud Computing: Permite procesarea securizată a datelor în medii cloud, asigurând confidențialitatea și integritatea
datelor utilizatorilor.
• Securitate bazată pe hardware: În timp ce soluțiile de securitate software pot fi vulnerabile, TEE-urile, fiind bazate pe
hardware, oferă un nivel suplimentar de apărare.
• Autentificare de la distanță: Cu TEE, părțile de la distanță pot autentifica dispozitivul, asigurându-se că rulează software
autentic.
• Provocări: Atacuri fizice, potențiale vulnerabilități în implementare și asigurarea integrității software-ului TEE în sine.
• Integrare cu alte tehnologii: Poate fi combinat cu alte tehnici criptografice pentru o securitate sporită, cum ar fi Secure
Multiparty Computation sau Homomorphic Encryption.
• Potențial viitor: Pe măsură ce dispozitivele IoT proliferează și nevoia de securitate edge crește, TEE-urile vor juca un rol
esențial în asigurarea unei execuții de încredere a operațiunilor.
Differential Privacy
• Definiție: O tehnică matematică pentru a maximiza acuratețea interogărilor din bazele de date statistice, minimizând în
același timp șansele de identificare a intrărilor sale.
• Adăugare zgomot: Adaugă zgomot statistic controlat la datele brute, asigurându-se că punctele de date individuale sunt
ascunse, dar tendințele generale rămân.
• Parametru ε (Epsilon): Definește pierderea confidențialității în date. Valorile mai mici indică o confidențialitate mai mare,
dar pot reduce acuratețea datelor.
• Aplicații în cercetare: Permite studiul seturilor de date sensibile (cum ar fi dosarele medicale) prin furnizarea de informații
agregate fără a risca expunerea individuală a datelor.
• Publicarea datelor: Permite partajarea rezumatelor datelor sau a rezultatelor fără a dezvălui detalii despre persoanele din
setul de date.
• Act de echilibru: Necesită o calibrare atentă între utilitatea datelor și confidențialitate. Mai mult zgomot crește
confidențialitatea, dar poate reduce utilitatea datelor.
• Locală vs. central: "Local" aplică zgomot punctelor de date individuale, în timp ce "Central" aplică zgomot după agregarea
datelor.
• Provocări: Determinarea valorilor ε adecvate, menținerea utilității datelor și asigurarea alinierii implementărilor din lumea
reală cu modelele teoretice.
• Viitorul: Pe măsură ce partajarea datelor devine omniprezentă și preocupările legate de confidențialitate cresc, differential
privacy va fi un instrument cheie pentru a facilita în mod responsabil informațiile bazate pe date.
Întrebări?
Mulțumesc!

contact@[Link]
+[Link]
[Link]
LinkedIn: tudorgalos ([Link]
Facebook: tudorgalos ([Link]
Facebook: tudorgconsulting ([Link]