Organizácia, ktorá používa automatizovaný systém, je zodpovedná za diskriminačné výsledky, ktoré vytvára, bez ohľadu na to, či model vytvorila sama a či niekto výsledok zamýšľal. V Holandsku sa táto zodpovednosť opiera o právo občianskeho deliktu (článok 6:162 holandského Občianskeho zákonníka, BW), právne predpisy o rovnakom zaobchádzaní a GDPR; pravidlá týkajúce sa vysokého rizika podľa zákona EÚ o umelej inteligencii pre náborové, úverové a poistné systémy sa uplatňujú až od 2. decembra 2027.
V holandskom zákone o diskriminácii sa počíta účinok rozhodnutia, nie motív. Náborový filter, kreditný model alebo skóre podvodu, ktoré znevýhodňuje chránenú skupinu, môže preto viesť k občianskoprávnej žalobe, sťažnosti Holandskému inštitútu pre ľudské práva a vyšetrovaniu zo strany holandského úradu na ochranu údajov, a to všetko na základe rovnakých skutočností.
Obsah
Čo je algoritmické skreslenie a odkiaľ pochádza?
Algoritmické skreslenie vzniká, keď systém zaobchádza s porovnateľnými ľuďmi odlišne na základe chráneného dôvodu alebo na základe kritéria, ktoré slúži ako náhrada za chránený dôvod. Keďže model aplikuje rovnaký vzorec na každý súbor, skreslený model funguje skôr ako politika než ako incident.
- Tréningové dáta: model trénovaný na minulých rozhodnutiach reprodukuje vzory v nich zaznamenané.
- Premenné: neutrálne vyzerajúci prvok, ako napríklad PSČ, môže nahrádzať etnickú príslušnosť a spôsobiť nepriamu diskrimináciu.
- Použitie výstupu: skóre, ktoré je prijateľné ako poradenstvo, môže byť nezákonné ako jediný dôvod na zamietnutie žiadosti.
- Nedostatočné monitorovanie: model, ktorý bol vyvážený pri štarte, sa mení so zmenou údajov.
Priama diskriminácia otvorene využíva chránený dôvod. Nepriama diskriminácia, kde neutrálne kritérium znevýhodňuje chránenú skupinu, môže byť odôvodnená iba vtedy, ak je cieľ legitímny a prostriedky sú vhodné a nevyhnutné a organizácia to musí byť schopná preukázať.
Kedy je organizácia zodpovedná podľa holandského práva?
Väčšinu práce vykonávajú dva súbory holandského práva. Právo občianskoprávnych deliktov sa pýta, či organizácia konala nedbalo a spôsobila stratu; právo rovnakého zaobchádzania sa pýta, či výsledkom bolo zakázané rozlišovanie.
Priestupok: nedbanlivé nasadenie
Podľa článku 6:162 BW je strana zodpovedná za protiprávny čin (onrechtmatige daad), ktorý jej možno pripísať a ktorý spôsobí škodu. Používanie systému, ktorý nebol testovaný, validovaný alebo monitorovaný, môže byť samo o sebe nedbanlivým konaním. Žalobca musí preukázať protiprávny čin, jeho pripísanie, škodu a príčinnú súvislosť.
Zakúpenie systému od dodávateľa nezbavuje nasadzujúcu organizáciu tejto povinnosti. Môže mať voči dodávateľovi samostatný nárok za neplnenie (článok 6:74 BW), ale to nemá vplyv na nárok zamietnutého žiadateľa.
Zákon o rovnakom zaobchádzaní a dôkazné bremeno
Všeobecný zákon o rovnakom zaobchádzaní (Algemene wet gelijke behandeling, AWGB), zákon o diskriminácii na základe veku (WGBL) a zákon o zdravotnom postihnutí a chronických chorobách (WGBH/CZ) zakazujú priame a nepriame rozlišovanie na základe chránených dôvodov; v zamestnaní článok 7:646 BW dopĺňa pravidlá týkajúce sa pohlavia. Keď žiadateľ predloží skutočnosti naznačujúce diskrimináciu, organizácia musí preukázať, že sa nedopustila diskriminácie.
Organizácia, ktorá nedokáže preukázať, čo jej model vážil, na akých údajoch a s akým testovaním, nemôže splniť túto povinnosť. Sťažnosť možno podať aj Holandskému inštitútu pre ľudské práva (College voor de Rechten van de Mens), ktorého stanoviská nie sú záväzné, ale často sa používajú ako dôkazy v neskorších súdnych prípadoch.
Čo vyžaduje GDPR od automatizovaných rozhodnutí?
Článok 22 GDPR dáva osobe právo nebyť predmetom rozhodnutia založeného výlučne na automatizovanom spracovaní, ktoré má právne alebo podobne významné účinky. Rozhodnutia o nábore, úveroch a benefitoch zvyčajne spĺňajú podmienky.
Ľudská účasť prijíma rozhodnutie mimo článku 22 iba vtedy, ak je zmysluplné: osoba s právomocou a informáciami rozhodnúť inak, nie niekto, kto potvrdí to, čo sa zobrazuje na obrazovke. Zásada spravodlivosti v článku 5(1)(a) sa uplatňuje v každom prípade a článok 35 vyžaduje posúdenie vplyvu na ochranu údajov pred vysoko rizikovým spracovaním, ako je systematické profilovanie. Podľa článku 83(5) GDPR môžu pokuty dosiahnuť 20 miliónov EUR alebo 4 % celosvetového ročného obratu, podľa toho, ktorá suma je vyššia. Pozrite si náš prehľad o ochrane údajov, GDPR, umelej inteligencii a veľkých dátach.
Čo vyžaduje zákon o umelej inteligencii teraz a čo platí neskôr?
Zákon o umelej inteligencii, nariadenie (EÚ) 2024/1689, nadobudol účinnosť 1. augusta 2024 a uplatňuje sa postupne. Zakázané praktiky uvedené v článku 5 sa uplatňujú od 2. februára 2025; povinnosti týkajúce sa vysokého rizika pre náborové, úverové a poistné systémy sa uplatňujú od 2. decembra 2027.
Povinnosti týkajúce sa univerzálnych modelov umelej inteligencie a sankčné ustanovenia platia od 2. augusta 2025. Digitálny súhrnný predpis o umelej inteligencii, nariadenie (EÚ) 2026/1744, ktoré je v platnosti od 27. júla 2026, odložil režim s vysokým rizikom: systémy uvedené v prílohe III, ako sú tie, ktoré sa používajú na nábor, povyšovanie a ukončenie pracovného pomeru, posudzovanie úverovej bonity a poistného rizika, nasledujú 2. decembra 2027 a systémy s vysokým rizikom v regulovaných produktoch (príloha I) 2. augusta 2028. Súhrnný predpis tiež zmiernil povinnosť gramotnosti v oblasti umelej inteligencie v článku 4 na povinnosť podporovať gramotnosť zamestnancov v oblasti umelej inteligencie.
Keď sa uplatní režim pre vysoké riziko, vyžaduje si reprezentatívne a overené údaje o školeniach, technickú dokumentáciu, protokolovanie, transparentnosť, ľudský dohľad a posúdenie zhody. Zavádzajúce subjekty majú svoje vlastné povinnosti, ako je vedenie protokolov a prideľovanie dohľadu kompetentným zamestnancom. Pokuty dosahujú 35 miliónov EUR alebo 7 % celosvetového obratu za zakázané praktiky a 15 miliónov EUR alebo 3 % za porušenie povinností týkajúcich sa vysokého rizika. Navrhovaná smernica o zodpovednosti za umelú inteligenciu bola stiahnutá, takže nárok na náhradu škody v Holandsku zostáva nárokom podľa holandského práva. Viac informácií nájdete v našom sprievodcovi právnou stránkou umelej inteligencie a zákonom EÚ o umelej inteligencii.
Čo rozhodli holandské súdy a regulačné orgány?
Dňa 5. februára 2020 Okresný súd v Haagu rozhodol, že legislatíva, na ktorej je založený vládny systém riadenia rizika podvodov SyRI, porušuje článok 8 Európskeho dohovoru o ľudských právach, pretože nie je dostatočne transparentná a overiteľná (ECLI:NL:RBDHA:2020:865). Ani model rizika, ani ukazovatele neboli zverejnené, takže nikto nemohol skontrolovať diskriminačné účinky.
V škandále s dávkami v starostlivosti o deti (toeslagenaffaire) daňová správa použila výber rizika, v ktorom sa dvojité občianstvo počítalo ako indikátor podvodu. Holandský úrad na ochranu údajov považoval toto spracovanie za nezákonné a diskriminačné a udelil daňovej správe pokutu. Poučenie pre súkromné organizácie: systém, ktorý nikto nevie vysvetliť, nemožno obhajovať a rozhodnutie o jeho prevádzkovaní je akt, ktorý sa posudzuje.
Kto je zodpovedný: dodávateľ alebo používateľ?
Poškodená osoba uplatnila nároky voči organizácii, ktorá rozhodnutie prijala, ktorou je takmer vždy prevádzkovateľ. Podľa zákona o umelej inteligencii má poskytovateľ aj prevádzkovateľ svoje vlastné povinnosti.
Zmluva s dodávateľom môže rozdeliť finančné dôsledky a zabezpečiť informácie, ktoré potrebujete na obhajobu nároku, ale nemôže zrušiť regulačnú pokutu ani zákonnú povinnosť. Toto rozdelenie rozoberá náš článok o tom, kto je zodpovedný za chyby spôsobené umelou inteligenciou .
Čo by ste si mali ako organizácia používajúca umelú inteligenciu overiť?
- Otestovali ste pred nasadením mieru výsledkov v rámci chránených skupín a skontrolovali ste premenné pre aproximačné ukazovatele?
- Pokračujete v testovaní aj po spustení a máte menovanú osobu, ktorá má oprávnenie pozastaviť systém?
- Má ľudská kontrola zmysel, ak sa uplatňuje článok 22 GDPR, a bolo posúdenie vplyvu vykonané pred spustením?
- Má zamestnanecká rada právo súhlasu podľa článku 27 zákona o zamestnaneckých radách (WOR), napríklad pre systémy, ktoré monitorujú zamestnancov?
- Poskytuje vám zmluva s dodávateľom prístup k dokumentácii, výsledkom testov a protokolom a právo na audit?
- Viete vysvetliť každé rozhodnutie dotknutej osobe zrozumiteľne?
Čo by ste si mali overiť ako žiadateľ alebo zamestnanec, ktorého sa rozhodnutie týka?
- Bolo rozhodnutie prijaté bez zmysluplného ľudského zapojenia? Môžete sa potom odvolať na článok 22 GDPR.
- Požiadali ste o prístup k svojim údajom a vysvetlenie použitej logiky (článok 15 GDPR)?
- Existujú fakty naznačujúce, že chránený dôvod alebo zástupca zohrali úlohu? Dôkazné bremeno sa potom presúva.
- Stačí stanovisko (oordeel) od Holandského inštitútu pre ľudské práva, alebo je potrebné podať žalobu o náhradu škody na súde?
Čo pre vás môžeme urobiť v súvislosti so zodpovednosťou za algoritmickú zaujatosť?
Naši IT právnici poskytujú spoločnostiam poradenstvo v právnej oblasti automatizovaného rozhodovania.
- Posudzujeme vašu expozíciu podľa holandského práva o občianskoprávnych deliktoch, práva o rovnakom zaobchádzaní a GDPR pre konkrétny systém.
- Preskúmame vaše posúdenie vplyvu a proces ľudského dohľadu z hľadiska článku 22 GDPR.
- Pripravíme vaše požiadavky na súlad so zákonom o umelej inteligencii (AI Act) pre vysoko rizikové náborové, úverové a poisťovacie systémy.
- Vyjednávame zmluvy s dodávateľmi týkajúce sa dokumentácie, práv na audit a zodpovednosti.
- Riešime sťažnosti, postupy inštitútu, reklamácie a regulačné vyšetrovania.
zhrnutie
- Nasadzujúca organizácia je zodpovedná za diskriminačné výsledky, a to aj v prípade systému, ktorý bol schválený.
- Keď fakty naznačujú diskrimináciu, organizácia musí preukázať, že sa nediskriminovala.
- Článok 22 GDPR obmedzuje výlučne automatizované rozhodnutia; ľudské preskúmanie musí byť skutočné.
- Vysokorizikové povinnosti podľa zákona o umelej inteligencii v oblasti náboru, úverov a poistenia platia od 2. decembra 2027.
- Dokumentácia testovania a monitorovania je jadrom každej obrany.
Často kladené otázky
Ak je naša umelá inteligencia tretej strany zaujatá, kto je za ňu zodpovedný: dodávateľ alebo my?
Voči dotknutej osobe, zvyčajne vám ako prevádzkovateľovi. Môžete mať zmluvný nárok voči dodávateľovi (článok 6:74 BW), ale to vás nechráni pred občianskoprávnou žalobou alebo regulačnou pokutou.
Ako dokážeme, že náš algoritmus nie je diskriminačný?
So záznamami vytvorenými pred a počas používania: zdroje údajov, validačné testy naprieč skupinami, pravidelné audity, nápravné kroky a vysvetlenie logiky rozhodovania. Pre systémy s vysokým rizikom podľa zákona o umelej inteligencii sa takáto dokumentácia stáva povinnou od 2. decembra 2027.
Zbavuje vysvetliteľná umelá inteligencia našej zodpovednosti?
Nie. Vysvetliteľnosť pomáha splniť povinnosti transparentnosti podľa GDPR, ale ak vysvetlenie ukazuje, že o výsledku rozhodol chránený dôvod alebo zástupca, rozhodnutie je stále diskriminačné.
Vzťahujú sa tieto pravidlá na malé a stredné podniky?
Áno. Bez ohľadu na veľkosť sa uplatňujú priestupkové právo, právo o rovnakom zaobchádzaní a GDPR. Zákon o umelej inteligencii zmierňuje niektoré záťaže pre malé a stredné podniky, ale stále platia vysoko rizikové povinnosti týkajúce sa náborových alebo kreditných systémov.