Sekcja 2 - Wymogi dotyczące systemów AI wysokiego ryzyka - Rozporządzenie 2024/1689 w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji oraz zmiany rozporządzeń (WE) nr 300/2008, (UE) nr 167/2013, (UE) nr 168/2013, (UE) 2018/858, (UE) 2018/1139 i (UE) 2019/2144 oraz dyrektyw 2014/90/UE, (UE) 2016/797 i (UE) 2020/1828 (akt w sprawie sztucznej inteligencji)Tekst mający znaczenie dla EOG

Dzienniki UE

Dz.U.UE.L.2024.1689

Akt oczekujący

Wersja od: 12 lipca 2024 r.

SEKCJA  2

Wymogi dotyczące systemów AI wysokiego ryzyka

Artykuł  8

Zgodność z wymogami

1. Systemy AI wysokiego ryzyka muszą być zgodne z wymogami ustanowionymi w niniejszej sekcji, przy uwzględnieniu ich przeznaczenia oraz powszechnie uznanego stanu wiedzy technicznej w dziedzinie AI oraz technologii powiązanych z AI. Przy zapewnianiu zgodności z tymi wymogami uwzględnia się system zarządzania ryzykiem, o którym mowa w art. 9.

2. W przypadku gdy produkt zawiera system AI, do którego mają zastosowanie wymogi niniejszego rozporządzenia oraz wymogi unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A, dostawcy są odpowiedzialni za zapewnienie pełnej zgodności ich produktu ze wszystkimi mającymi zastosowanie wymogami na podstawie mającego zastosowanie unijnego prawodawstwa harmonizacyjnego. Przy zapewnianiu zgodności systemów AI wysokiego ryzyka, o których mowa w ust. 1, z wymogami ustanowionymi w niniejszej sekcji oraz w celu zapewnienia spójności, unikania powielania i zminimalizowania dodatkowych obciążeń, dostawcy mogą wybrać, w stosownych przypadkach, integrację niezbędnych procesów testowania i sprawozdawczości, informacji i dokumentacji, które zapewniają w odniesieniu do swojego produktu, z istniejącą już dokumentacją i procedurami wymaganymi na podstawie unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A.

Artykuł  9

System zarządzania ryzykiem

1. Ustanawia się, wdraża, dokumentuje i obsługuje system zarządzania ryzykiem w odniesieniu do systemów AI wysokiego ryzyka.

2. Przez system zarządzania ryzykiem rozumie się ciągły, iteracyjny proces, planowany i realizowany przez cały cykl życia systemu AI wysokiego ryzyka, wymagający regularnego systematycznego przeglądu i aktualizacji. Obejmuje on następujące etapy:

a) identyfikację i analizę znanego i dającego się racjonalnie przewidzieć ryzyka, jakie dany system AI wysokiego ryzyka może stwarzać dla zdrowia, bezpieczeństwa lub praw podstawowych podczas jego stosowania zgodnie z przeznaczeniem;

b) oszacowanie i ocenę ryzyka, jakie może wystąpić podczas wykorzystywania systemu AI wysokiego ryzyka zgodnie z przeznaczeniem i w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania;

c) ocenę innego mogącego wystąpić ryzyka na podstawie analizy danych zebranych z systemu monitorowania po wprowadzeniu do obrotu, o którym mowa w art. 72;

d) przyjęcie odpowiednich i ukierunkowanych środków zarządzania ryzykiem zaprojektowanych w celu przeciwdziałania ryzyku zidentyfikowanemu zgodnie z lit. a).

3. Ryzyko, o którym mowa w niniejszym artykule, oznacza tylko takie rodzaje ryzyka, które można stosownie ograniczyć lub wyeliminować poprzez rozwój lub zaprojektowanie systemu AI wysokiego ryzyka lub poprzez zapewnienie odpowiednich informacji technicznych.

4. W ramach środków zarządzania ryzykiem, o których mowa w ust. 2 lit. d), należycie uwzględnia się skutki i możliwe interakcje wynikające z łącznego stosowania wymogów ustanowionych w niniejszej sekcji, w celu skuteczniejszego minimalizowania ryzyka przy jednoczesnym osiągnięciu odpowiedniej równowagi we wdrażaniu środków służących spełnieniu tych wymogów.

5. Środki zarządzania ryzykiem, o których mowa w ust. 2 lit. d), muszą być takie, aby odpowiednie ryzyko szczątkowe związane z każdym zagrożeniem, jak również ogólne ryzyko szczątkowe systemów AI wysokiego ryzyka, oceniano jako dopuszczalne.

Przy określaniu najodpowiedniejszych środków zarządzania ryzykiem zapewnia się, co następuje:

a) eliminację lub ograniczenie - w zakresie, w jakim jest to technicznie wykonalne - ryzyka zidentyfikowanego i ocenionego zgodnie z ust. 2 poprzez odpowiedni projekt i rozwój systemu AI wysokiego ryzyka;

b) w stosownych przypadkach - wdrożenie odpowiednich środków służących ograniczeniu i kontroli ryzyka, którego nie można wyeliminować;

c) dostarczenie informacji wymaganych zgodnie z art. 13 oraz, w stosownych przypadkach, przeszkolenie podmiotów stosujących.

W celu eliminowania lub ograniczania ryzyka związanego z wykorzystaniem systemu AI wysokiego ryzyka należytą uwagę zwraca się na wiedzę techniczną, doświadczenie, wykształcenie i szkolenia, jakich oczekuje się od podmiotu stosującego, oraz zakładany kontekst, w którym ma być stosowany system.

6. Systemy AI wysokiego ryzyka testuje się w celu określenia najodpowiedniejszych i ukierunkowanych środków zarządzania ryzykiem. Testy zapewniają, by systemy AI wysokiego ryzyka działały zgodnie z ich przeznaczeniem oraz były zgodne z wymogami ustanowionymi w niniejszej sekcji.

7. Procedury testowe mogą obejmować testy w warunkach rzeczywistych zgodnie z art. 60.

8. Testy systemów AI wysokiego ryzyka przeprowadza się, w stosownych przypadkach, w dowolnym momencie procesu rozwoju systemu, a w każdym przypadku przed wprowadzeniem go do obrotu lub oddaniem do użytku. Testy przeprowadza się w odniesieniu do uprzednio określonych wskaźników i progów probabilistycznych, stosownych ze względu na przeznaczenie systemu AI wysokiego ryzyka.

9. Przy wdrażaniu systemu zarządzania ryzykiem przewidzianego w ust. 1-7 dostawcy zwracają uwagę na to, czy dany system AI wysokiego ryzyka w świetle swojego przeznaczenia może mieć niekorzystny wpływ na osoby poniżej 18 roku życia oraz, w stosownych przypadkach, na inne grupy szczególnie wrażliwe.

10. W odniesieniu do dostawców systemów AI wysokiego ryzyka, którzy podlegają wymogom dotyczącym wewnętrznych procesów zarządzania ryzykiem na podstawie innych odpowiednich przepisów prawa Unii, aspekty przewidziane w ust. 1-9 mogą być częścią procedur zarządzania ryzykiem ustanowionych zgodnie z tym prawem lub łączyć się z tymi procedurami.

Artykuł  10

Dane i zarządzanie danymi

1. Systemy AI wysokiego ryzyka, które wykorzystują techniki obejmujące trenowanie modeli AI z wykorzystaniem danych, rozwija się na podstawie zbiorów danych treningowych, walidacyjnych i testowych spełniających kryteria jakości, o których mowa w ust. 2-5, w każdym przypadku gdy takie zbiory danych są wykorzystywane.

2. Zbiory danych treningowych, walidacyjnych i testowych podlegają praktykom w zakresie zarządzania danymi stosownym do przeznaczenia danego systemu AI wysokiego ryzyka. Praktyki te dotyczą w szczególności:

a) odpowiednich decyzji projektowych;

b) procesów zbierania danych i pochodzenia danych oraz, w przypadku danych osobowych, pierwotnego celu zbierania danych;

c) odpowiednich operacji przetwarzania na potrzeby przygotowania danych, takich jak dodawanie komentarzy, etykietowanie, czyszczenie, aktualizacja, wzbogacanie i agregacja;

d) sformułowania założeń, w szczególności w odniesieniu do informacji, do których pomiaru i reprezentowania mają służyć dane;

e) oceny dostępności, ilości i przydatności zbiorów danych, które są potrzebne;

f) badania pod kątem ewentualnej stronniczości, która może mieć wpływ na zdrowie i bezpieczeństwo osób, negatywnie wpływać na prawa podstawowe lub prowadzić do dyskryminacji zakazanej na mocy prawa Unii, zwłaszcza w przypadku gdy dane wyjściowe wpływają na dane wejściowe wykorzystywane na potrzeby przyszłych operacji;

g) odpowiednich środków służących wykrywaniu ewentualnej stronniczości określonej zgodnie z lit. f) oraz zapobieganiu jej i jej ograniczaniu;

h) określenia istotnych luk w danych lub braków w danych, które uniemożliwiają zgodność z niniejszym rozporządzeniem, oraz tego, w jaki sposób można zaradzić tym lukom i brakom.

3. Zbiory danych treningowych, walidacyjnych i testowych muszą być adekwatne, wystarczająco reprezentatywne oraz w jak największym stopniu wolne od błędów i kompletne z punktu widzenia przeznaczenia. Muszą się one charakteryzować odpowiednimi właściwościami statystycznymi, w tym, w stosownych przypadkach, w odniesieniu do osób lub grup osób, wobec których ma być stosowany system AI wysokiego ryzyka. Te kryteria zbiorów danych mogą zostać spełnione na poziomie pojedynczych zbiorów danych lub na poziomie ich kombinacji.

4. Zbiory danych muszą uwzględniać, w zakresie wymaganym z uwagi na ich przeznaczenie, cechy lub elementy, które są specyficzne dla określonego otoczenia geograficznego, kontekstualnego, behawioralnego lub funkcjonalnego, w którym ma być wykorzystywany system AI wysokiego ryzyka.

5. W zakresie, w jakim jest to bezwzględnie konieczne do celów zapewnienia zgodnie z ust. 2 lit. f) i g) niniejszego artykułu wykrywania i korygowania stronniczości systemów AI wysokiego ryzyka, dostawcy takich systemów mogą wyjątkowo przetwarzać szczególne kategorie danych osobowych, pod warunkiem stosowania odpowiednich zabezpieczeń w zakresie podstawowych praw i wolności osób fizycznych. Oprócz przepisów określonych w rozporządzeniach (UE) 2016/679 i (UE) 2018/1725 oraz dyrektywie (UE) 2016/680, aby takie przetwarzanie mogło się odbyć, przetwarzanie takie musi spełniać wszystkie następujące warunki:

a) nie jest możliwe skuteczne wykrywanie i korygowanie stronniczości poprzez przetwarzanie innych danych, w tym danych syntetycznych lub zanonimizowanych;

b) szczególne kategorie danych osobowych podlegają ograniczeniom technicznym dotyczącym ponownego wykorzystywania danych osobowych oraz najnowocześniejszym środkom bezpieczeństwa i ochrony prywatności, w tym pseudonimizacji;

c) szczególne kategorie danych osobowych podlegają środkom zapewniającym, by przetwarzane dane osobowe były zabezpieczone, chronione, podlegały odpowiednim środkom ochronnym, w tym ścisłym kontrolom i dokumentowaniu dostępu, aby uniknąć nadużyć i zapewnić, by dostęp do tych danych miały wyłącznie osoby upoważnione, zobowiązane do spełnienia odpowiednich obowiązków dotyczących poufności;

d) szczególne kategorie danych osobowych nie są przesyłane, przekazywane ani w inny sposób udostępniane innym podmiotom;

e) szczególne kategorie danych osobowych usuwa się po skorygowaniu stronniczości lub po upływie okresu przechowywania danych osobowych, w zależności od tego, co nastąpi wcześniej;

f) rejestry czynności przetwarzania na podstawie rozporządzeń (UE) 2016/679 i (UE) 2018/1725 oraz dyrektywy (UE) 2016/680 zawierają uzasadnienie, dlaczego przetwarzanie szczególnych kategorii danych osobowych było bezwzględnie konieczne do wykrycia i skorygowania stronniczości oraz dlaczego cel ten nie mógł zostać osiągnięty w wyniku przetwarzania innych danych.

6. W przypadkach rozwoju systemów AI wysokiego ryzyka niewykorzystujących technik obejmujących trenowanie modeli AI ust. 2-5 stosuje się jedynie do zbiorów danych testowych.

Artykuł  11

Dokumentacja techniczna

1. Dokumentację techniczną dla systemu AI wysokiego ryzyka sporządza się przed wprowadzeniem danego systemu do obrotu lub oddaniem go do użytku oraz dokonuje się jej aktualizacji.

Dokumentację techniczną sporządza się w taki sposób, aby wykazać, że system AI wysokiego ryzyka jest zgodny z wymogami ustanowionymi w niniejszej sekcji, oraz aby dostarczyć właściwym organom krajowym i jednostkom notyfikowanym informacji - w jasnej i kompleksowej formie - niezbędnych do oceny zgodności systemu AI z tymi wymogami. Zawiera ona co najmniej elementy określone w załączniku IV. MŚP, w tym przedsiębiorstwa typu startup, mogą podawać elementy dokumentacji technicznej określone w załączniku IV w formie uproszczonej. W tym celu Komisja ustanawia wzór uproszczonej dokumentacji technicznej ukierunkowany na potrzeby małych przedsiębiorstw i mikroprzedsiębiorstw. W przypadku gdy MŚP, w tym przedsiębiorstwa typu startup, zdecydują się na podawanie informacji wymaganych w załączniku IV w sposób uproszczony, korzystają z wzoru, o którym mowa w niniejszym ustępie. Jednostki notyfikowane akceptują ten wzór do celów oceny zgodności.

2. W przypadku wprowadzania do obrotu lub oddawania do użytku systemu AI wysokiego ryzyka związanego z produktem, który jest objęty zakresem stosowania unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A, sporządza się jeden zestaw dokumentacji technicznych zawierający wszystkie informacje określone w ust. 1, jak również informacje wymagane na podstawie tych aktów prawnych.

3. Komisja jest uprawniona do przyjmowania aktów delegowanych zgodnie z art. 97 w celu zmiany, w razie potrzeby, załącznika IV, aby zagwarantować, by w świetle postępu technicznego dokumentacja techniczna zawierała wszystkie informacje niezbędne do oceny zgodności systemu z wymogami ustanowionymi w niniejszej sekcji.

Artykuł  12

Rejestrowanie zdarzeń

1. Systemy AI wysokiego ryzyka muszą dysponować technicznymi możliwościami automatycznego rejestrowania zdarzeń (zwanymi dalej "rejestrami zdarzeń") w całym cyklu życia danego systemu.

2. W celu zapewnienia, by poziom identyfikowalności funkcjonowania systemu AI wysokiego ryzyka był stosowny ze względu na przeznaczenie tego systemu, funkcja rejestracji zdarzeń musi umożliwiać rejestrowanie zdarzeń istotnych dla:

a) identyfikowania sytuacji, które mogą skutkować tym, że system AI wysokiego ryzyka będzie stwarzał ryzyko w rozumieniu art. 79 ust. 1, lub które mogą prowadzić do istotnej zmiany;

b) ułatwiania monitorowania po wprowadzeniu do obrotu, o którym mowa w art. 72; oraz

c) monitorowania działania systemów AI wysokiego ryzyka, o których mowa w art. 26 ust. 5.

3. W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1 lit. a), funkcja rejestracji zdarzeń musi zapewniać rejestrowanie co najmniej:

a) okresu każdego wykorzystania systemu (data i godzina rozpoczęcia oraz data i godzina zakończenia każdego wykorzystania);

b) referencyjnej bazy danych, względem której system sprawdził dane wejściowe;

c) danych wejściowych, w których przypadku wyszukiwanie doprowadziło do trafienia;

d) danych umożliwiających identyfikację osób fizycznych uczestniczących w weryfikacji wyników, o których mowa w art. 14 ust. 5.

Artykuł  13

Przejrzystość i udostępnianie informacji podmiotom stosującym

1. Systemy AI wysokiego ryzyka projektuje się i rozwija w sposób zapewniający wystarczającą przejrzystość ich działania, umożliwiającą podmiotom stosującym interpretację wyników systemu i ich właściwe wykorzystanie. Zapewnia się odpowiedni rodzaj i stopień przejrzystości w celu osiągnięcia spełnienia przez dostawcę i podmiot stosujący odpowiednich obowiązków określonych w sekcji 3.

2. Do systemów AI wysokiego ryzyka dołącza się instrukcję obsługi w odpowiednim formacie cyfrowym lub innym formacie zawierającą zwięzłe, kompletne, poprawne i jasne informacje, które są istotne, dostępne i zrozumiałe dla podmiotów stosujących.

3. Instrukcja obsługi zawiera co najmniej następujące informacje:

a) tożsamość i dane kontaktowe dostawcy oraz, w stosownych przypadkach, jego upoważnionego przedstawiciela;

b) cechy, możliwości i ograniczenia skuteczności działania systemu AI wysokiego ryzyka, w tym:

(i) jego przeznaczenie;

(ii) poziom dokładności, wraz z jego wskaźnikami, poziom solidności i cyberbezpieczeństwa, o których mowa w art. 15, względem których przetestowano system AI wysokiego ryzyka i dokonano jego walidacji oraz których to poziomów można oczekiwać, a także wszelkie znane i dające się przewidzieć okoliczności, które mogą mieć wpływ na te oczekiwane poziomy dokładności, solidności i cyberbezpieczeństwa;

(iii) wszelkie znane lub dające się przewidzieć okoliczności związane z wykorzystaniem systemu AI wysokiego ryzyka zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, mogące powodować ryzyko dla zdrowia i bezpieczeństwa lub praw podstawowych, o którym to ryzyku mowa w art. 9 ust. 2;

(iv) w stosownych przypadkach, możliwości techniczne i właściwości systemu AI wysokiego ryzyka w zakresie udostępniania informacji istotnych dla wyjaśnienia jego wyników;

(v) w stosownych przypadkach, działanie systemu w odniesieniu do określonych osób lub grup osób, wobec których ma on być wykorzystywany;

(vi) w stosownych przypadkach, specyfikacje dotyczące danych wejściowych lub wszelkie inne istotne informacje dotyczące wykorzystywanych zbiorów danych treningowych, walidacyjnych i testowych, uwzględniając przeznaczenie systemu AI wysokiego ryzyka;

(vii) w stosownych przypadkach, informacje umożliwiające podmiotom stosującym interpretację wyników systemu AI wysokiego ryzyka i odpowiednie wykorzystanie tych wyników;

c) zmiany w systemie AI wysokiego ryzyka i jego skuteczności działania, które zostały z góry zaplanowane przez dostawcę w momencie przeprowadzania początkowej oceny zgodności;

d) środki nadzoru ze strony człowieka, o których mowa w art. 14, w tym środki techniczne wprowadzone w celu ułatwienia podmiotom stosującym interpretacji wyników systemów AI wysokiego ryzyka;

e) potrzebne zasoby obliczeniowe i sprzętowe, przewidywany cykl życia systemu AI wysokiego ryzyka oraz wszelkie niezbędne środki w zakresie konserwacji i utrzymania, w tym częstotliwość ich stosowania, mające na celu zapewnienie właściwego funkcjonowania tego systemu AI, w tym dotyczące aktualizacji oprogramowania;

f) w stosownych przypadkach - opis mechanizmów zawartych w systemie AI wysokiego ryzyka, które umożliwiają podmiotom stosującym prawidłowe zbieranie, przechowywanie i interpretowanie rejestrów zdarzeń, zgodnie z art. 12.

Artykuł  14

Nadzór ze strony człowieka

1. Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania systemu AI mogły być skutecznie nadzorowane przez osoby fizyczne.

2. Nadzór ze strony człowieka ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka, które może się pojawić, gdy system AI wysokiego ryzyka jest wykorzystywany zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, w szczególności gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów ustanowionych w niniejszej sekcji.

3. Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania danego systemu AI wysokiego ryzyka, a nadzór zapewnia się za pomocą co najmniej jednego z następujących rodzajów środków:

a) środków określonych i wbudowanych, jeżeli jest to technicznie wykonalne, w system AI wysokiego ryzyka przez dostawcę przed wprowadzeniem systemu do obrotu lub oddaniem do użytku;

b) środków określonych przez dostawcę przed wprowadzeniem systemu AI wysokiego ryzyka do obrotu lub oddaniem go do użytku i które to środki nadają się do wdrożenia przez podmiot stosujący.

4. Do celów wykonania ust. 1, 2 i 3 system AI wysokiego ryzyka udostępnia się podmiotowi stosującemu w taki sposób, aby umożliwić osobom fizycznym, którym powierzono sprawowanie nadzoru ze strony człowieka, odpowiednio i proporcjonalnie:

a) należyte zrozumienie odpowiednich możliwości i ograniczeń systemu AI wysokiego ryzyka oraz należyte monitorowanie jego działania, w tym w celu wykrywania anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzeniu im w przypadku ich wystąpienia;

b) pozostawanie świadomym potencjalnej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku wytworzonym przez system AI wysokiego ryzyka (tzw. "błąd automatyzacji"), w szczególności w przypadku systemów AI wysokiego ryzyka wykorzystywanych do udzielania informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne;

c) prawidłową interpretację wyniku systemu AI wysokiego ryzyka, biorąc pod uwagę na przykład dostępne narzędzia i metody interpretacji;

d) podjęcie decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu AI wysokiego ryzyka lub w inny sposób zignorowanie, unieważnienie lub odwrócenie wyniku systemu AI wysokiego ryzyka;

e) ingerowanie w działanie systemu AI wysokiego ryzyka lub przerwanie działania systemu za pomocą przycisku "stop" lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.

5. W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1 lit. a), środki, o których mowa w ust. 3 niniejszego artykułu, muszą ponadto zapewniać, aby podmiot stosujący nie podejmował żadnego działania ani decyzji na podstawie identyfikacji będącej wynikiem działania systemu, jeżeli identyfikacji tej nie zweryfikowały ani nie potwierdziły odrębnie co najmniej dwie osoby fizyczne mające wymagane kompetencje, przeszkolenie i uprawnienia.

Wymóg odrębnej weryfikacji przez co najmniej dwie osoby fizyczne nie ma zastosowania do systemów AI wysokiego ryzyka wykorzystywanych do celów ścigania przestępstw, migracji, kontroli granicznej lub azylu, w przypadkach gdy prawo Unii lub prawo krajowe uznaje stosowanie tego wymogu za nieproporcjonalne.

Artykuł  15

Dokładność, solidność i cyberbezpieczeństwo

1. Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, aby osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz by działały konsekwentnie pod tymi względami w całym cyklu życia.

2. Aby odnieść się do technicznych aspektów pomiaru odpowiednich poziomów dokładności i solidności określonych w ust. 1 oraz wszelkich innych istotnych wskaźników skuteczności działania, Komisja we współpracy z odpowiednimi zainteresowanymi stronami i organizacjami, takimi jak organy metrologiczne i organy ds. analizy porównawczej, zachęca w stosownych przypadkach do opracowywania poziomów odniesienia i metod pomiarowych.

3. Poziomy dokładności i odpowiednie wskaźniki dokładności systemów AI wysokiego ryzyka deklaruje się w dołączonych do nich instrukcjach obsługi.

4. Systemy AI wysokiego ryzyka muszą być możliwie jak najodporniejsze na błędy, usterki lub niespójności, które mogą wystąpić w systemie lub w środowisku, w którym działa system, w szczególności w wyniku interakcji z osobami fizycznymi lub innymi systemami. W tym zakresie podejmuje się środki techniczne i organizacyjne.

Solidność systemów AI wysokiego ryzyka można osiągnąć dzięki rozwiązaniom technicznym gwarantującym redundancję, które mogą obejmować plany zakładające dostępność systemu zapasowego lub plany zapewniające przejście systemu w stan bezpieczny (tzw. "fail-safe").

Systemy AI wysokiego ryzyka, które po wprowadzeniu na rynek lub oddaniu do użytku nadal się uczą, rozwija się w taki sposób, aby w możliwie największym stopniu wyeliminować lub ograniczyć ryzyko potencjalnie stronniczych wyników wpływających na dane wejściowe wykorzystywane na potrzeby przyszłych operacji (sprzężenie zwrotne) oraz aby zapewnić, by wszelkie tego typu sprzężenie zwrotne zostało odpowiednio uwzględnione przy pomocy odpowiednich środków ograniczających ryzyko.

5. Systemy AI wysokiego ryzyka muszą być odporne na próby nieupoważnionych osób trzecich mające na celu zmianę ich wykorzystania, wyników lub skuteczności działania poprzez wykorzystanie słabych punktów systemu.

Rozwiązania techniczne mające na celu zapewnienie cyberbezpieczeństwa systemów AI wysokiego ryzyka muszą być dostosowane do odpowiednich okoliczności i ryzyka.

Rozwiązania techniczne mające na celu eliminowanie słabych punktów charakterystycznych dla AI obejmują, w stosownych przypadkach, środki służące zapobieganiu atakom mającym na celu manipulowanie zbiorem danych treningowych (zatruwanie danych) lub elementami stosowanymi przy trenowaniu, które zostały poddane pretrenowaniu (zatruwanie modelu), wprowadzaniu danych wejściowych, które mają na celu spowodowanie błędu w modelu AI (przykłady kontradyktoryjne lub omijanie modelu), atakom na poufność lub wadom modelu, a także środki w zakresie wykrywania tych zagrożeń, reagowania na nie, ich rozwiązywania i ich kontrolowania.