Wydanie Rekomendacji W dotyczącej zarządzania ryzykiem modeli w bankach.
Dz.Urz.KNF.2015.49
Akt obowiązującyUCHWAŁA Nr 332/2015
KOMISJI NADZORU FINANSOWEGO
z dnia 21 lipca 2015 r.
w sprawie wydania Rekomendacji W dotyczącej zarządzania ryzykiem modeli w bankach
ZAŁĄCZNIK
Rekomendacja W
Rekomendacja W
Warszawa, lipiec 2015 r.
I.
Wstęp
Wstęp
Biorąc pod uwagę, z jednej strony - fakt zwiększania zakresu wykorzystywania modeli na potrzeby wewnętrzne, z drugiej zaś - ograniczony zakres regulacji nadzorczych określających standardy zarządzania ryzykiem modeli w sposób kompleksowy i szczegółowy, intencją przyświecającą wydaniu Rekomendacji W jest m.in. określenie standardów procesu zarządzania ryzykiem modeli, z uwzględnieniem potrzeby określenia ram dla tego procesu, w tym zasad budowy modeli oraz oceny jakości ich działania, przy zapewnieniu właściwych rozwiązań w ramach ładu korporacyjnego.
Rekomendacja W jest wydawana głównie w celu:
- jasnego określenia oczekiwań nadzorczych w zakresie procesu zarządzania ryzykiem modeli, w tym wynikających z art. 85 ust. 1 CRDIV 1 , wskazujących bankom na konieczność wprowadzenia systemowego podejścia do zarządzania ryzykiem modeli ustanawiającego standardy obowiązujące w całej instytucji (z uwzględnieniem modeli zewnętrznych, w tym grupowych), których przestrzeganie ma zapewnić dostosowanie ryzyka wykorzystywanych przez dany bank modeli do tolerancji banku na ten rodzaj ryzyka,
- wskazania bankom dobrych praktyk w zakresie efektywnego procesu zarządzania ryzykiem modeli na wszystkich jego etapach i w konsekwencji poprawy jakości zarządzania ryzykiem modeli oraz wypracowania wysokich standardów rynkowych,
- dostosowania podejmowanych przez banki działań w zakresie zarządzania ryzykiem modeli do poziomu ryzyka modeli (zasada proporcjonalności),
- zmniejszenia stopnia narażenia sektora bankowego na ryzyko modeli i przygotowania banków do sprawnego podejmowania właściwych działań zaradczych i naprawczych w sytuacji materializacji ryzyka modeli w przyszłości.
Należy podkreślić, że poprawa jakości zarządzania ryzykiem modeli, będąca naturalnym następstwem rzetelnego dostosowania przebiegu procesów wewnętrznych w banku do wymagań sformułowanych w Rekomendacji, sprzyja rozwojowi potencjału do ewentualnego wykorzystywania przez bank metod wewnętrznych 2 , zwłaszcza dzięki:
- wprowadzeniu mechanizmów usprawniających proces pomiaru ryzyka w banku,
- dostosowaniu działań w zakresie zarządzania modelami do ich charakteru, skali i stopnia złożoności,
- objęciu modeli istotnych procesem walidacji,
- rozwojowi w banku fachowej wiedzy w zakresie zarządzania ryzykiem modeli,
- prowadzeniu działań ukierunkowanych na poprawę jakości danych wykorzystywanych przez modele.
Wobec powyższego, jak również mając na uwadze treść motywu 42 Rozporządzenia CRR 3 oraz art. 77 ust. 1 i 3 CRDIV, Komisja Nadzoru Finansowego wyraża oczekiwanie, że wskutek wdrożenia Rekomendacji i poprawy jakości zarządzania ryzykiem modeli, banki będą podejmowały działania polegające na dążeniu do szerszego korzystania z wewnętrznych modeli pomiaru ryzyka również w ramach obliczania wymogów kapitałowych na potrzeby regulacyjne, celem zapewnienia większej spójności pomiędzy poziomem wymogów kapitałowych a poziomem ryzyka banku.
Dokument zawiera 17 rekomendacji, które zostały podzielone na następujące obszary:
- zasady i organizacja procesu zarządzania ryzykiem modeli,
- proces zarządzania ryzykiem modeli,
- zarządzanie modelami,
- walidacja.
Ważną kwestią z punktu widzenia efektywności procesu zarządzania ryzykiem modeli, obok uregulowania tego procesu od strony formalno-organizacyjnej, jest odpowiednie dostosowanie podejmowanych przez bank działań do poziomu ryzyka generowanego przez modele. Poziom ryzyka danego modelu określany jest za pomocą dwóch składowych: istotności modelu oraz stopnia narażenia na ryzyko modelu. Istotność modelu należy w głównej mierze utożsamiać z zakresem wykorzystania modelu w banku - im udział danego modelu w procesach i decyzjach realizowanych w banku jest większy, tym wyższa jest jego istotność 4 . Z kolei na stopień narażenia na ryzyko modelu wpływa szeroko rozumiana jakość modelu - począwszy od jakości danych, przez aspekty metodologiczne związane z procesem jego budowy oraz prawidłowość jego wdrożenia do systemów i procesów bankowych, a skończywszy na racjonalnym wykorzystywaniu jego wyników w procesach i decyzjach realizowanych w banku. Z tego powodu, zarządzanie ryzykiem modeli w głównej mierze powinno koncentrować się na aktywnych działaniach racjonalnie redukujących stopień narażenia modeli istotnych na ryzyko modeli, a w ślad za nim poziom ryzyka modeli do wielkości spójnych z poziomem tolerancji banku na ten rodzaj ryzyka.
Właściwym sposobem redukcji stopnia narażenia na ryzyko modeli jest stosowanie odpowiednich mechanizmów kontrolnych, ukierunkowanych na zmniejszenie poziomu ryzyka rezydualnego (w przypadku modeli już funkcjonujących) i inherentnego (w przypadku modeli będących w fazie opracowywania) modeli. Osiągane jest to poprzez wprowadzenie przez bank zasad zarządzania modelami, które - jeśli stosowane są w sposób efektywny - wzmacniają skuteczność mechanizmów kontrolnych na wszystkich etapach cyklu życia modeli i przyczyniają się do stopniowego podnoszenia jakości działania modeli. Ze względu na złożony i wieloaspektowy charakter działań związanych z zarządzaniem modelami, w Rekomendacji zostały one uwzględnione w osobnym rozdziale. Jednocześnie, za kluczowy element zbioru tych zasad i wysoce skuteczny mechanizm kontrolny należy uznać fakt funkcjonowania w banku niezależnej komórki walidacji - oczekiwania nadzorcze w zakresie uwarunkowań funkcjonowania tej komórki w banku przedstawione zostały w ostatnim rozdziale Rekomendacji.
Biorąc pod uwagę specyfikę zagadnień związanych z zarządzaniem ryzykiem modeli oraz różnice w zakresie uwarunkowań, skali działalności, poziomu ryzyka poszczególnych banków i roli, jaką odgrywają w nich modele, sposób realizacji rekomendacji i wskazanych w nich celów może być różny. W związku z tym, opisy i komentarze zawarte wraz z poszczególnymi rekomendacjami należy traktować jako zbiór dobrych praktyk, które jednak powinny być stosowane z zachowaniem zasady proporcjonalności. Oznacza to, że stosowanie tych praktyk powinno zależeć m.in. od tego, na ile przystają one do specyfiki i poziomu ryzyka banku, skali wykorzystania modeli, jak również od relacji kosztów ich wprowadzenia do wynikających z tego korzyści. W szczególności, w przypadku wybranych rekomendacji, określono specyficzne wymagania, jakie powinny być spełnione w przypadku posiadania przez bank modeli istotnych - dotyczy to zwłaszcza oczekiwania odnośnie stosowania kompleksowego podejścia do zarządzania ryzykiem modeli i funkcjonowania w banku komórki walidacji. Jednocześnie nadzór oczekuje, że decyzje dotyczące zakresu i sposobu wprowadzenia wskazanych w Rekomendacji rozwiązań poprzedzone zostaną pogłębioną i udokumentowaną analizą, popartą stosowną argumentacją.
Wszystkie banki powinny stosować się do zawartych w niniejszym dokumencie rekomendacji, z zastrzeżeniem, że oczekiwaniem nadzoru jest, by przynajmniej w bankach o rozległej i złożonej skali działalności proces zarządzania ryzykiem modeli ukształtowany został w sposób minimalizujący zależność banku od rozwiązań dostarczanych przez podmioty zewnętrzne (w tym podmioty dominujące) - tj. głównie w zakresie budowy i bieżącego zapewniania jakości działania modeli, z uwzględnieniem konieczności posiadania komórki walidacji o zasobach cechujących się wysokimi kwalifikacjami i kompetencjami.
Ponadto, w przypadku banków spółdzielczych oczekiwaniem nadzoru jest, by banki zrzeszające wspierały proces wdrażania niniejszej Rekomendacji z uwzględnieniem skali i specyfiki działalności danego banku spółdzielczego, stosując zasadę proporcjonalności. Skala działalności i wykorzystywane rozwiązania w odniesieniu do modeli powinny decydować o zakresie i stopniu przyjmowanych rozwiązań. Proces wdrażania tych rozwiązań w bankach spółdzielczych, pomimo aktywnej roli banku zrzeszającego, nie może jednak stać w sprzeczności ze zdefiniowanym w poszczególnych rekomendacjach zakresem obowiązków i odpowiedzialnością statutowych organów zrzeszonych banków spółdzielczych.
Komisja Nadzoru Finansowego oczekuje, że Rekomendacja W dotycząca zasad zarządzania ryzykiem modeli w bankach zostanie wprowadzona nie później niż do dnia 30 czerwca 2016 r.
II.
Słownik pojęć
Słownik pojęć
Dane wewnętrzne - wszystkie dane wykorzystywane w procesie zarządzania modelami lub ryzykiem modeli, których źródło stanowią systemy i bazy danych banku.
Dane zewnętrzne - wszystkie dane wykorzystywane w procesie zarządzania modelami lub ryzykiem modeli, które nie są danymi wewnętrznymi.
Dziennik modelu - zestaw informacji pozwalających na uzyskanie kluczowych (z punktu widzenia zarządzania ryzykiem modeli) informacji o modelu, uporządkowanych w sposób umożliwiający osobom trzecim pełne odtworzenie historii działań związanych z danym modelem oraz ich logiki.
Interesariusze wewnętrzni modelu - komórki organizacyjne banku, zespoły, komitety oraz organy banku, które mają wpływ na przebieg procesu zarządzania ryzykiem modeli lub pozostają pod jego wpływem.
Istotność modelu - cecha modelu, która jest określana przez bank z uwzględnieniem co najmniej istotności procesu, w ramach którego używany jest model i roli modelu w tym procesie oraz wielkości ekspozycji objętej działaniem modelu.
Kategorie ryzyka modeli - zidentyfikowane przez bank, specyficzne i wyodrębnione obszary, które mają wpływ na stopień narażenia banku na ryzyko modeli (np. w podziale na: immanentne ograniczenia modeli; ryzyko danych; ryzyko założeń/ metodologiczne; ryzyko administrowania; ryzyko współzależności).
Model - narzędzie służące do sporządzania ograniczonego (do najistotniejszych wymiarów) opisu wybranego aspektu rzeczywistości (identyfikujące i przybliżające na gruncie teorii lub empirii występujące w niej relacje), z wykorzystywaniem którego związane jest ryzyko poniesienia przez bank straty z powodu błędów w opracowaniu, wdrożeniu lub stosowaniu takiego narzędzia.
Model grupowy - model zewnętrzny wykorzystywany przez bank, w opracowaniu którego istotną rolę odgrywał podmiot z tej samej grupy kapitałowej co dany bank.
Model istotny - model, który został zaklasyfikowany przez bank do zbioru modeli, które odgrywają ważną rolę w kluczowych procesach lub decyzjach realizowanych w banku, m.in. ze względu na wielkość ekspozycji objętej działaniem modelu.
Model nieistotny - model, który nie został zaklasyfikowany przez bank do zbioru modeli istotnych.
Model wewnętrzny - model wykorzystywany i opracowany przez dany bank.
Model zewnętrzny - model wykorzystywany przez bank, w opracowaniu którego istotną rolę odgrywał podmiot inny niż dany bank.
Monitoring modelu - weryfikacja skuteczności działania modelu dokonywana przez komórkę banku odpowiedzialną za funkcjonowanie modelu, zwykle w oparciu o miary statystyczne.
Ocena istotności modelu - miara odzwierciedlająca istotność modelu, służąca do przypisywania modelu do wyspecyfikowanych przez bank co najmniej dwóch klas istotności modelu (model istotny/model nieistotny).
Poziom ryzyka modelu - ustalona na podstawie wewnętrznych kryteriów banku, możliwie obiektywna ocena ryzyka modelu, na którą wpływ ma istotność modelu oraz stopień jego narażenia na ryzyko modelu.
Rejestr modeli - zestawienie zawierające uporządkowane - według jednolitej formy - najistotniejsze, aktualne informacje w odniesieniu do wszystkich stosowanych przez bank modeli.
Rekomendacja - Rekomendacja W.
Rekomendacja D - Rekomendacja D - dotycząca zarządzania obszarami technologii informacyjnej i bezpieczeństwa środowiska teleinformatycznego w bankach.
Ryzyko inherentne modelu - poziom ryzyka modelu, jaki występuje przed podjętymi lub potencjalnie możliwymi do zastosowania mechanizmami kontrolnymi.
Ryzyko modelu - potencjalna strata, jaką może ponieść bank, w wyniku decyzji, które mogły zasadniczo opierać się na danych uzyskanych przy zastosowaniu modeli wewnętrznych 5 , z powodu błędów w opracowaniu, wdrażaniu lub stosowaniu takich modeli 6 .
Ryzyko rezydualne modelu - poziom ryzyka, jaki pozostaje, pomimo zastosowania mechanizmów kontrolnych i wynikających z nich działań następczych.
Stopień narażenia na ryzyko modelu - miara odzwierciedlająca skumulowany wpływ wszystkich zidentyfikowanych przez bank kategorii ryzyka modelu na prawidłowość wygenerowania przez niego w środowisku produkcyjnym poprawnego wyniku wykorzystywanego w procesach lub decyzjach realizowanych w banku.
Środowisko deweloperskie - środowisko informatyczne, w którym model jest budowany i testowany.
Środowisko produkcyjne - środowisko informatyczne, w którym model jest docelowo wdrażany i wykorzystywany operacyjnie.
Tolerancja na ryzyko modeli - dopuszczalny poziom ryzyka modeli, akceptowany przez bank.
Użytkownik modelu - komórka organizacyjna banku przeprowadzająca czynności związane z bezpośrednią obsługą i generowaniem wyników modelu lub wykorzystująca jego wyniki w ramach realizacji przynależnych jej zadań.
Walidacja - ocena skuteczności działania modelu dokonywana przez komórkę banku niezwiązaną z procesem budowy modelu i jego wykorzystywania, zwykle w sposób bardziej kompleksowy niż w ramach monitoringu, obejmująca m.in.: odpowiedniość koncepcji i założeń modelu do procesu lub mechanizmu decyzyjnego, w którym model jest stosowany oraz poprawność jego budowy i wdrożenia od strony merytorycznej i formalnej.
Wdrożenie procesowe modelu - czynności, w wyniku których model po przeniesieniu do środowiska produkcyjnego będzie mógł być stosowany w procesach i decyzjach realizowanych w banku zgodnie z przeznaczeniem; obejmuje, w szczególności, niezbędne modyfikacje procesów i regulacji wewnętrznych oraz przeszkolenie użytkowników modeli.
Wdrożenie techniczne modelu - proces, w ramach którego model (wraz z komponentami wejścia i wyjścia) przenoszony jest ze środowiska deweloperskiego do środowiska produkcyjnego przy zachowaniu jego integralności i funkcjonalności.
Właściciel modelu - komórka organizacyjna banku bezpośrednio odpowiedzialna za rozwój modelu oraz zapewnianie odpowiedniej jakości działania modelu.
Zasada proporcjonalności - zasada, w myśl której zarządzanie ryzykiem modeli odbywa się z wykorzystaniem nakładów właściwych dla poziomu ryzyka modeli, które są niezbędne dla osiągnięcia zamierzonego celu.
III.
Lista rekomendacji
Lista rekomendacji
Rekomendacja 1
Bank powinien opracować i wdrożyć politykę w zakresie zarządzania ryzykiem modeli, zgodną z wewnętrzną strategią zarządzania ryzykiem.
Rekomendacja 2
Rada nadzorcza banku powinna nadzorować funkcjonowanie procesu zarządzania ryzykiem modeli, natomiast zarząd banku powinien zapewnić jego poprawną i efektywną realizację.
Rekomendacja 3
Istotne aspekty funkcjonowania modeli powinny być zatwierdzane przez zarząd banku bądź dedykowany komitet.
Rekomendacja 4
Rozwiązania organizacyjne oraz zasoby ludzkie dedykowane procesowi zarządzania ryzykiem modeli powinny być adekwatne do istotności modeli oraz pozwalać na skuteczną i terminową realizację działań w tym procesie.
Rekomendacja 5
Bank powinien posiadać sformalizowane zasady określające role i odpowiedzialności uczestników procesu zarządzania ryzykiem modeli oraz standardy w zakresie budowy, wdrażania, stosowania, weryfikacji jakości działania i dokumentacji modeli oraz procesu przygotowywania danych służących do budowy i bieżącego zasilania modeli.
Rekomendacja 6
Raportowanie nt. modeli funkcjonujących w banku oraz istotnych działań podejmowanych w ramach zarządzania ryzykiem modeli powinny stanowić integralny element systemu informacji zarządczej.
Rekomendacja 7
Proces zarządzania ryzykiem modeli powinien stanowić przedmiot okresowych, niezależnych audytów.
Proces zarządzania ryzykiem modeli
Rekomendacja 8
Bank powinien objąć procesem zarządzania ryzykiem modeli wszystkie wykorzystywane przez siebie modele, niezależnie od istotności modeli, źródeł ich pochodzenia i rodzaju wykorzystywanych przez nie danych.
Rekomendacja 9
Funkcjonujący w banku proces zarządzania ryzykiem modeli, zintegrowany z całościowym systemem zarządzania ryzykiem w banku, powinien obejmować działania związane z identyfikacją, szacowaniem, kontrolą, monitorowaniemi raportowaniem ryzyka modeli.
Zarządzanie modelami
Rekomendacja 10
Bank powinien posiadać rejestr modeli, a w odniesieniu do każdego z modeli, dziennik modelu.
Rekomendacja 11
Bank powinien określić zasady zarządzania modelami we wszystkich fazach ich cyklu życia.
Rekomendacja 12
Bank powinien zapewnić, aby dane wykorzystywane we wszystkich fazach cyklu życia modeli cechowały się wysoką jakością.
Rekomendacja 13
Bank powinien zapewnić, aby stosowane przez niego modele cechowały się odpowiednią jakością w każdej z faz cyklu ich życia, co wymaga, aby ich wykorzystanie i skuteczność podlegały regularnej weryfikacji, z częstotliwością dostosowaną do ich specyfiki.
Rekomendacja 14
W banku powinien funkcjonować przejrzysty proces eskalacji negatywnych wyników weryfikacji jakości działania modeli zapewniający sprawne podejmowanie właściwych działań zaradczych i naprawczych.
Walidacja
Rekomendacja 15
W banku posiadającym modele istotne powinna funkcjonować niezależna komórka odpowiedzialna za przeprowadzanie ich walidacji.
Rekomendacja 16
Zakres czynności przeprowadzanych w trakcie walidacji oraz jej częstotliwość powinny być dostosowane do specyfiki modelu i poziomu jego ryzyka.
Rekomendacja 17
W procesie walidacji powinny być wykorzystywane - w sposób komplementarny - zarówno techniki ilościowe, jak i jakościowe w celu zapewnienia kompleksowej wiedzy odnośnie jakości działania modeli.
VI.
Zasady i organizacja procesu zarządzania ryzykiem modeli
Zasady i organizacja procesu zarządzania ryzykiem modeli
1.
Rekomendacja 1
Rekomendacja 1
1.1. Ryzyko modeli, jako specyficzny element ryzyka operacyjnego, powinno być przez banki, które stosują w swojej działalności modele, uznawane za jedno z ryzyk nieodłącznie związanych z prowadzeniem działalności bankowej. W konsekwencji - analogicznie jak w odniesieniu do innych rodzajów ryzyka - ryzyko modeli powinno być objęte procesem zarządzania, w oparciu o formalnie ustalone zasady pozwalające na właściwą identyfikację ryzyka modeli i jego rzetelną ocenę, jak również zapewniające funkcjonowanie właściwych mechanizmów kontrolnych oraz narzędzi aktywnego sterowania stopniem narażenia na ryzyko modeli, z uwzględnieniem efektywnego procesu raportowania.
1.2. Bank powinien opracować w formie pisemnej i wdrożyć politykę w zakresie zarządzania ryzykiem modeli, której celem jest m.in.:
- zapewnienie odpowiedniej, dostosowanej do istotności ryzyka modeli w działalności banku, jakości zarządzania ryzykiem modeli i zwiększenie przejrzystości przebiegu całego procesu zarządzania ryzykiem modeli zarówno na potrzeby operacyjne, jak i kontrolne,
- adekwatne dostosowanie struktury organizacyjnej do skali i charakteru prowadzonej działalności oraz występującego ryzyka modeli poprzez wprowadzenie rozwiązań zapewniających dokonywanie odpowiedniego podziału zadań i przypisywanie podległości służbowej oraz zakresu obowiązków służbowych 7 , uwzględnienie zasady proporcjonalności poprzez zapewnienie dynamicznego dostosowywania zakresu i rodzaju wykonywanych zadań w procesie zarządzania ryzykiem modeli do specyfiki wykorzystywanych modeli lub ich poziomu ryzyka,
- wprowadzenie mechanizmów zapewniających skuteczne działania zaradcze i naprawcze zapobiegające stosowaniu modeli niespełniających określonych standardów jakościowych lub cechujących się nadmiernym poziomem ryzyka,
a w sytuacji posiadania przez bank nie tylko modeli nieistotnych:
- wystandaryzowanie procesu zarządzania ryzykiem modeli poprzez określenie przebiegu wybranych podprocesów i odpowiednie ujednolicenie stosowanych rozwiązań na poziomie banku,
- ustanowienie akceptowalnego poziomu ryzyka modeli na poziomie zagregowanym (poziomu tolerancji na ryzyko modeli).
1.3. Postanowienia polityki w zakresie zarządzania ryzykiem modeli powinny zapewniać m.in.:
- objęcie procesem zarządzania ryzykiem modeli wszystkich modeli wykorzystywanych i planowanych do wykorzystania w banku,
- wprowadzenie formalnych zasad zarządzania modelami i ich ryzykiem na wszystkich etapach cyklu ich życia,
- właściwe udokumentowanie każdego z wykorzystywanych modeli,
- promowanie wysokich standardów w zakresie zarządzania ryzykiem modeli,
- przeprowadzanie jej okresowej, w cyklu co najmniej rocznym, aktualizacji,
a w sytuacji posiadania przez bank nie tylko modeli nieistotnych:
- posiadanie przez bank bieżącej i kompleksowej wiedzy o poziomie ryzyka poszczególnych modeli - również w ujęciu zagregowanym.
1.4. Przy formułowaniu ram procesu zarządzania ryzykiem modeli i kształtowaniu infrastruktury wspomagającej ten proces (zasoby kadrowe i IT), bank powinien kierować się zasadą proporcjonalności, poprzez dostosowywanie wielkości i rodzaju alokowanych zasobów do własnej specyfiki, zwłaszcza w kontekście: wielkości i rodzajów ekspozycji, skali oraz charakteru prowadzonej działalności, jak również złożoności i zakresu wykorzystywania modeli. Oznacza to, że bank, w którym zakres wykorzystania modeli jest nieznaczny lub wykorzystywane modele zaklasyfikowane zostały jako nieistotne będzie mógł poprzestać na określeniu ogólnych ram systemu zarządzania ryzykiem modeli, z drugiej zaś strony, bank jest zobligowany do podejmowania stosownych działań wobec modeli zidentyfikowanych, w oparciu o opracowane w banku zasady klasyfikacji, jako istotne, nawet jeśli poziom ryzyka modeli w banku w ujęciu zagregowanym nie jest wysoki.
1.5. W celu zapewnienia możliwości przeprowadzania efektywnego wewnętrznego procesu identyfikacji modeli bank, na potrzeby wewnętrzne, powinien doprecyzować uniwersalną definicję modelu przedstawioną w Rekomendacji uwzględniając specyfikę prowadzonej przez siebie działalności.
1.6. W procesie identyfikacji wykorzystywanych przez siebie modeli bank powinien przeanalizować w szczególności następujące potencjalne obszary wykorzystywania modeli:
- pomiar ryzyka (ocena zdolności i wiarygodności kredytowej, wyznaczanie poziomu rezerw i odpisów aktualizujących, obliczanie wymogów kapitałowych, szacowanie kapitału wewnętrznego, kalkulacja nadzorczych miar płynności, przeprowadzanie testów warunków skrajnych, wyznaczanie wartości narażonej na ryzyko, detekcja przypadków prób wyłudzenia kredytów),
- wycena (wycena instrumentów finansowych, modelowanie cen nieruchomości, wycena pozostałych zabezpieczeń rzeczowych).
Rola zarządu i rady nadzorczej
2.
Rekomendacja 2
Rekomendacja 2
2.1. Rada nadzorcza powinna:
- sprawować nadzór nad zgodnością polityki banku w zakresie zarządzania ryzykiem modeli ze strategią zarządzania ryzykiem banku,
- co najmniej raz w roku oceniać stopień skuteczności zarządzania ryzykiem modeli przez bank,
a w sytuacji posiadania przez bank nie tylko modeli nieistotnych, również:
- zatwierdzać poziom tolerancji banku na ryzyko modeli i nadzorować jego przestrzeganie przez zarząd banku.
2.2. Zarząd banku ponosi odpowiedzialność za wdrożenie efektywnego funkcjonowania procesu zarządzania ryzykiem modeli w banku, z uwzględnieniem właściwego podziału ról, zasad współpracy i odpowiedzialności poszczególnych uczestników tego procesu.
2.3. Zarząd banku powinien zarządzać ryzykiem modeli w sposób aktywny wykorzystując przy tym wszystkie dostępne informacje.
2.4. Ostateczna odpowiedzialność za prawidłowe funkcjonowanie modeli (niezależnie od źródła ich pochodzenia i wykorzystywanych danych) spoczywa na zarządzie banku, który powinien posiadać niezbędną wiedzę w zakresie wykorzystywanych przez bank modeli.
2.5. Zarząd banku powinien zapewnić uczestnikom procesu zarządzania ryzykiem modeli dostęp do odpowiednich szkoleń, literatury fachowej, infrastruktury informatycznej (sprzęt i oprogramowanie) i danych niezbędnych do efektywnego wykonywania powierzonych im zadań.
3.
Rekomendacja 3
Rekomendacja 3
3.1. W zakresie zarządzania ryzykiem modeli zarząd banku bądź dedykowany komitet powinien być odpowiedzialny, w szczególności za:
- określanie struktury procesu zarządzania ryzykiem modeli spójnej z występującym w banku systemem zarządzania ryzykiem,
- akceptowanie polityki zarządzania ryzykiem modeli i dokonywanie jej corocznego przeglądu celem zapewnienia jej aktualności do bieżących uwarunkowań, priorytetów i kierunków zmian w organizacji procesów,
- ocenę prawidłowości przebiegu procesu badania jakości funkcjonowania modeli,
- określanie podejścia banku do zakresu stosowania modeli zewnętrznych,
a w sytuacji posiadania przez bank nie tylko modeli nieistotnych, również za:
- określanie poziomu tolerancji na ryzyko modeli,
- kontrolowanie poziomu ryzyka modeli względem zaakceptowanego poziomu tolerancji na ryzyko.
3.2. W odniesieniu do modeli istotnych zarząd banku bądź dedykowany komitet 8 powinien być odpowiedzialny za:
- akceptowanie wyników walidacji modeli,
- zatwierdzanie, wycofywanie i wprowadzanie zmian do modeli,
- akceptowanie i monitorowanie wprowadzania właściwych działań zaradczych lub naprawczych.
Rozwiązania organizacyjne i zasoby ludzkie
4.
Rekomendacja 4
Rekomendacja 4
4.1. Struktura organizacyjna banku powinna zapewnić występowanie odpowiedniego poziomu niezależności pomiędzy właścicielami modeli, ich użytkownikami oraz osobami odpowiedzialnym za ich walidację. W wybranych, należycie uzasadnionych przez bank, przypadkach, kiedy z przyczyn obiektywnych nie występuje ryzyko konfliktu interesów pomiędzy właścicielami modeli a ich użytkownikami, dopuszczona jest sytuacja łączenia tych ról.
4.2. Bank powinien zapewnić, aby pracownicy pełniący określone role w procesie zarządzania ryzykiem modeli posiadali odpowiednie kwalifikacje, kompetencje i doświadczenie pozwalające na rzetelne wywiązywanie się z powierzonych im zadań.
4.3. Bank powinien wyznaczyć członka zarządu bezpośrednio odpowiedzialnego za nadzór nad obszarem związanym z zarządzaniem ryzykiem modeli.
4.4. Wśród kadry kierowniczej banku powinien znajdować się pracownik odpowiedzialny za:
- koordynację działań z zakresu zarządzania ryzykiem modeli,
- uzyskiwanie wszystkich koniecznych informacji od interesariuszy wewnętrznych i ich właściwą agregację, m.in. na potrzeby sporządzania informacji zarządczej,
- zapewnianie aktualności rejestru modeli i ocen istotności modeli,
a w sytuacji posiadania przez bank nie tylko modeli nieistotnych:
- zapewnianie stosowania zintegrowanego podejścia do zarządzania tym ryzykiem w odniesieniu do wszystkich modeli wykorzystywanych w banku,
- zapewnianie aktualności ocen poziomu ryzyka modeli,
- bieżące monitorowanie poziomu ryzyka modeli w ujęciu zagregowanym w kontekście przyjętego poziomu tolerancji na to ryzyko.
4.5. Zasady i poziom wynagradzania pracowników odpowiedzialnych za zarządzanie ryzykiem modeli powinny być współmierne do stopnia złożoności i istotności wykonywanych przez nich zadań i motywować do ciągłego podnoszenia kompetencji i zaangażowania w tym obszarze.
4.6. Bank powinien minimalizować ryzyko kadrowe związane z nadmierną kumulacją wiedzy z zakresu zarządzania ryzykiem modeli istotnych u wąskiej grupy pracowników banku. W związku z tym oczekuje się od banku promowania takich rozwiązań organizacyjnych, w ramach których każdy fragment wiedzy z zakresu zarządzania ryzykiem tych modeli będzie w posiadaniu co najmniej dwóch pracowników banku. Z jednej strony jest to niezbędne do stosowania efektywnego mechanizmu kontrolnego "dwóch par oczu", a z drugiej do zapewnienia ciągłości przebiegu procesów w przypadku absencji pracownika banku bezpośrednio odpowiedzialnego za prawidłowość ich przebiegu.
4.7. Kadra kierownicza powinna, w szczególności:
- pełnić bezpośredni nadzór nad prawidłowością przebiegu operacyjnych procesów wynikających z obowiązujących w banku zasad zarządzania ryzykiem modeli (w tym być odpowiedzialna za opracowanie właściwych regulacji niższego rzędu zapewniających prawidłowy przebieg procesu zarządzania ryzykiem modeli),
- dysponować odpowiednią wiedzą w zakresie struktury i sposobu funkcjonowania modeli,
- regularnie raportować zarządowi lub dedykowanemu komitetowi ocenę efektywności stosowania zasad zarządzania ryzykiem modeli oraz informować o zidentyfikowanych ryzykach modeli,
- inicjować podejmowanie odpowiednich działań zaradczych lub naprawczych w zakresie modeli, w celu zapewnienia w sposób ciągły poprawnego działania modeli.
Regulacje wewnętrzne
5.
Rekomendacja 5
Rekomendacja 5
5.1. Zarządzanie ryzykiem modeli w banku realizowane jest na podstawie procedur dotyczących identyfikacji, szacowania, monitorowania, kontroli i raportowania tego rodzaju ryzyka. Stosowane przez bank metodyki w zakresie budowy, wdrażania (procesowego i technicznego), stosowania i weryfikacji jakości działania modeli, jak i inne dokumenty opisujące przebieg poszczególnych etapów procesu zarządzania ryzykiem modeli powinny być opracowane w sposób na tyle przejrzysty, aby osoby trzecie o odpowiednich kompetencjach były w stanie odtworzyć przebieg procesu, który te dokumenty określają oraz dokonać oceny ich warstwy merytorycznej. Stopień zaawansowania i szczegółowości poszczególnych procedur i metodyk powinien korespondować ze specyfiką i istotnością modeli, których one dotyczą.
5.2. Odpowiednie regulacje wewnętrzne powinny być znane pracownikom banku uczestniczącym w procesie zarządzania ryzykiem modeli. Sposób ich opracowywania powinien zapewniać przejrzystość i jednoznaczność prezentowanych w nich zagadnień, pozwalając ich odbiorcom na pełne zrozumienie istoty przekazywanych informacji - redukując zarówno ryzyko kadrowe (niska jakość dokumentacji utrudnia akumulację wiedzy w banku), jak i ryzyko modeli (odpowiednia dokumentacja zapewnia łatwy dostęp do informacji). Procedury powinny podlegać regularnej weryfikacji w celu ich dostosowania do zmian struktury organizacyjnej i poziomu ryzyka banku oraz otoczenia gospodarczego, w którym bank działa.
5.3. Bank w swoich regulacjach powinien określić role poszczególnych uczestników procesu zarządzania ryzykiem modeli oraz wskazać zakres przypisanych im zadań na poszczególnych etapach zarządzania ryzykiem modeli. Co do zasady powinny one obejmować:
- opracowywanie regulacji wewnętrznych z zakresu zarządzania ryzykiem modeli, określanie częstości i jednostek organizacyjnych odpowiedzialnych za dokonywanie ich przeglądów,
- przygotowanie harmonogramu projektu (prze)budowy/zastępowania/wycofania modelu,
- zapewnienie na etapie wdrożenia modelu odpowiednich: środków budżetowych, zasobów ludzkich i narzędzi IT,
- definiowanie potrzeb biznesowych i inicjowanie rozpoczęcia korzystania z modeli w procesach lub decyzjach realizowanych w banku,
- definiowanie zakresu stosowania modelu, sposobu jego wykorzystania oraz warunków, w jakich można odstąpić od wykorzystania modelu (lub nadpisać jego wynik),
- wskazanie rodzaju i źródeł wykorzystywanych przez model danych, zapewnienie dostępu do właściwych danych na etapie budowy, stosowania i weryfikacji jakości działania modelu,
- zbieranie, przetwarzanie i dostarczanie niezbędnych danych wejściowych do modelu,
- określanie kryteriów akceptacyjnych jakości działania modelu,
- budowanie modelu w środowisku deweloperskim, jego udokumentowanie i dokonanie oceny jego zgodności z wymogami wewnętrznymi oraz zewnętrznymi,
- akceptowanie modelu do stosowania i wdrożenia do środowiska produkcyjnego,
- proces wdrożenia modelu do środowiska produkcyjnego i dokumentowanie przeprowadzonych testów wdrożeniowych,
- akceptowanie wyników testów wdrożeniowych modelu do środowiska produkcyjnego potwierdzających posiadanie przez model wszystkich przewidzianych funkcjonalności i jego pełną zgodność działania z wersją wdrożoną w środowisku deweloperskim,
- przeprowadzanie walidacji modelu,
- akceptowanie wyników walidacji modelu,
- przeprowadzanie monitoringu modelu i jego dokumentowanie,
- akceptowanie wyników monitoringu,
- sporządzanie dziennika modelu,
- sporządzanie rejestru modeli,
- inicjowanie podejmowania określonych działań zaradczych lub naprawczych w sytuacji pogorszenia się jakości działania modelu,
- dokonywanie oceny istotności modelu, stopnia jego narażenia na ryzyko modelu i poziomu ryzyka modelu,
- wykonanie kopii bezpieczeństwa modelu (kodu źródłowego modelu),
- nadawanie uprawnień do kodu tylko wąskiemu, wyspecjalizowanemu gronu osób,
- zapewnienie rejestrowania wszystkich zmian wprowadzanych do kodu modelu (autor zmiany, jej zakres i data),
- kształtowanie procesu doboru zewnętrznych dostawców usług w zakresie modeli oraz zakresu świadczonych przez nich usług (w tym zwłaszcza w odniesieniu do dostosowania funkcjonalności modeli zewnętrznych do specyficznych potrzeb banku),
- kontrolowanie jakości usług świadczonych przez dostawców zewnętrznych,
- przygotowywanie informacji zarządczej.
5.4. Bank powinien stosować spójny system wersjonowania dokumentacji z zakresu zarządzania ryzykiem modeli, tj. w odniesieniu do każdego dokumentu powinien określić:
- nazwę i rodzaju dokumentu,
- numer wersji dokumentu i datę jego powstania/przeglądu/zatwierdzenia,
- autora/-ów dokumentu i osoby go zatwierdzające,
- rejestr zakresu i rodzaju zmian wprowadzonych względem wersji poprzednich.
System informacji zarządczej
6.
Rekomendacja 6
Rekomendacja 6
6.1. Raportowanie nt. modeli funkcjonujących w banku oraz istotnych działań podejmowanych w ramach zarządzania ryzykiem modeli powinno stanowić integralny element systemu informacji zarządczej i być prezentowane z częstotliwością odpowiednią do: pozycji interesariusza wewnętrznego w hierarchii, skali wykorzystania modeli w procesach i decyzjach realizowanych w banku oraz dynamiki zmian w obszarze zarządzania ryzykiem modeli.
6.2. Rada nadzorcza powinna regularnie otrzymywać, z zachowaniem zasady proporcjonalności w odniesieniu do częstości i szczegółowości zakresu informacji, jednak w okresach co najmniej rocznych, w szczególności:
- sprawozdania zarządu zawierające informacje o realizacji polityki zarządzania ryzykiem modeli (w tym wykaz najważniejszych działań podejmowanych w zakresie zarządzania tym ryzykiem i ocenę ich skuteczności),
- inne informacje istotne z punktu widzenia możliwości efektywnego sprawowania nadzoru nad działaniami zarządu banku w zakresie zarządzania ryzykiem modeli.
6.3. Rada nadzorcza powinna, w sytuacji posiadania przez bank modeli nie tylko nieistotnych, w okresach co najmniej rocznych być dodatkowo informowana o:
- poziomie ryzyka poszczególnych modeli istotnych, w tym o kierunkach i przyczynach jego zmian na przestrzeni czasu,
- poziomie ryzyka modeli w ujęciu zagregowanym w kontekście przyjętego poziomu tolerancji na to ryzyko.
6.4. W ramach systemu informacji zarządczej, zarząd banku lub dedykowany komitet powinien w okresach co najmniej półrocznych otrzymywać aktualne informacje obejmujące co najmniej:
- wykaz modeli używanych w banku wraz z przypisaną im istotnością i poziomem ryzyka (w przypadku modeli istotnych) oraz zmianami wartości tych kategorii na przestrzeni czasu (trendy),
- zmiany w liczbie stosowanych modeli, zakresach ich stosowania i przyczyny tych zmian,
- wykaz planowanych działań z zakresu zarządzania modelami i ich ryzykiem,
- inne informacje istotne z punktu widzenia możliwości efektywnego wykonywania zadań powierzonych zarządowi banku w zakresie zarządzania ryzykiem modeli.
6.5. Zarząd banku lub dedykowany komitet powinien, w sytuacji posiadania przez bank modeli nie tylko nieistotnych, w okresach co najmniej kwartalnych być dodatkowo informowany o harmonogramie zadań na dany okres w zakresie zarządzania ryzykiem modeli wraz z oceną jego realizacji i ewentualnych przyczynach opóźnień, a w odniesieniu do modeli istotnych o:
- poziomie ryzyka poszczególnych modeli istotnych, w tym o kierunkach i przyczynach jego zmian na przestrzeni czasu,
- kluczowych ustaleniach z wyników przeprowadzonych monitoringów, walidacji modeli oraz audytów wewnętrznych,
- statusie realizacji zaleceń (z monitoringu, walidacji i audytu) wydanych w poprzednich okresach i skuteczności ewentualnych podejmowanych działań zaradczych lub naprawczych,
- ocenie poziomu narażenia banku na ryzyko modeli w ujęciu zagregowanym w kontekście przyjętego poziomu tolerancji na to ryzyko.
Rola audytu wewnętrznego i zewnętrznego
7.
Rekomendacja 7
Rekomendacja 7
7.1. Komórka audytu wewnętrznego powinna dokonywać okresowych przeglądów procesu zarządzania ryzykiem modeli z uwzględnieniem działań prowadzonych przez uczestników tego procesu we wszystkich fazach cyklu życia modeli.
7.2. Komórka audytu wewnętrznego powinna wykonywać swoje funkcje kontrolne w obszarze zarządzania ryzykiem modeli z uwzględnieniem specyfiki tego ryzyka.
7.3. W ramach przeprowadzania audytu wewnętrznego procesu zarządzania ryzykiem modeli, należy zwracać szczególną uwagę na:
- konieczność wykorzystania wszystkich istotnych źródeł informacji o ryzykach modeli banku,
- adekwatność i aktualność polityki zarządzania ryzykiem modeli względem ryzyka modeli występującego w banku,
- podział zadań i niezależność procesów budowy, walidacji i użytkowania modeli,
- kompleksowość regulacji wewnętrznych niższego rzędu i zgodność przebiegu procesu zarządzania ryzykiem modeli z zawartymi w nich postanowieniami,
- stosowanie w praktyce regulacji wewnętrznych w zakresie zarządzania ryzykiem modeli, ze szczególnym uwzględnieniem polityki zarządzania ryzykiem modeli,
- kompletność i jakość dokumentacji tworzonej przez poszczególnych uczestników procesu zarządzania ryzykiem modeli,
- kompletność i aktualność rejestru modeli ze szczególnym uwzględnieniem ocen istotności i poziomu ryzyka modeli,
- objęcie procesem zarządzania ryzykiem modeli wszystkich modeli zgodnie z zasadą proporcjonalności,
- sposób zarządzania prawami dostępu do kodów modeli oraz zarządzania zmianami w modelach,
- jakość informacji zarządczej w tym obszarze i skuteczność działań podejmowanych na jej podstawie (ze szczególnym uwzględnieniem raportowania informacji dotyczących negatywnych wyników weryfikacji jakości działania modeli),
- obszary występowania podwyższonego ryzyka modeli.
7.4. Bank powinien zapewnić, aby komórka audytu wewnętrznego posiadała odpowiednie zasoby ludzkie dysponujące niezbędną wiedzą w zakresie procesu zarządzania ryzykiem modeli. W przypadku banków posiadających modele istotne, wiedza audytorów powinna w szczególności pozwalać na analizowanie ilościowych aspektów modeli, kwestii związanych z badaniem jakości danych oraz jakości pracy jednostki odpowiedzialnej za walidację zarówno na poziomie warstwy procesowej, jak i merytorycznej. Ponadto, wskazane jest, aby poziom tej wiedzy pozwalał na ewentualną realizację przez komórkę audytu wewnętrznego także funkcji doradczej w wybranych elementach procesu zarządzania ryzykiem modeli.
7.5. Audyt wewnętrzny procesu zarządzania ryzykiem modeli powinien być przeprowadzany regularnie. Częstotliwość, zakres i szczegółowy plan audytów powinny wynikać z poziomu ryzyka modeli związanego z poszczególnymi obszarami/procesami i w pełni uwzględniać stosowaną w procesie zarządzania ryzykiem modeli zasadę proporcjonalności. Jednocześnie należy zapewnić, że przedmiotem audytów będą objęte - z odpowiednią częstotliwością - wszystkie aspekty funkcjonowania procesu zarządzania ryzykiem modeli.
7.6. Mając na uwadze wyspecjalizowany charakter aspektów funkcjonowania modeli (tj. głównie kwestii o charakterze ilościowym), za dopuszczalne można uznać rozwiązanie, w którym niezależna weryfikacja i przegląd będą wykonywane - w sposób komplementarny - przez jednostkę audytu wewnętrznego oraz inną porównywalnie niezależną jednostkę (np. komórkę walidacji), z zastosowaniem podziału zadań odpowiedniego do kompetencji merytorycznych tych jednostek, przy zastrzeżeniu, że działalność komórki walidacji podlegać będzie niezależnej ocenie audytu wewnętrznego.
7.7. Wskazane jest, aby delegowany przedstawiciel komórki audytu wewnętrznego pełnił rolę obserwatora w komitecie uczestniczącym w procesie zarządzania ryzykiem modeli.
7.8. Zlecanie dodatkowych audytów profesjonalnym instytucjom zewnętrznym specjalizującym się w badaniu obszarów zarządzania ryzykiem modeli jest czynnikiem, który może wzmocnić w istotny sposób kontrolę nad ryzykiem związanym z tym obszarem. Niemniej jednak, takie działanie powinno mieć charakter jedynie wspierający. W związku z tym, bank powinien przeanalizować zasadność, i na tej podstawie podjąć odpowiednią decyzję, dotyczącą uzupełnienia działań audytu wewnętrznego przez audyty zewnętrzne przeprowadzane przez tego rodzaju podmioty, w szczególności w zakresie obszarów o wysokim poziomie ryzyka modeli.
V. Proces zarządzania ryzykiem modeli
Klasyfikacja modeli
8.
Rekomendacja 8
Rekomendacja 8
8.1. Klasyfikacja modeli do klas istotności odbywa się na podstawie zatwierdzonych zasad i jasno określonych kryteriów pozwalających na spójne, konsekwentne i miarodajne rozróżnianie istotności pomiędzy modelami. W przypadku banku, w którym zakres stosowania modeli jest ograniczony, a uzależnienie przebiegu procesów lub decyzji realizowanych w banku od modeli jest małe, mogą występować jedynie modele klasyfikowane jako nieistotne. Klasyfikacja odbywa się co najmniej w cyklu rocznym oraz każdorazowo po wystąpieniu okoliczności uprawdopodobniających zmianę klasyfikacji danego modelu (np. zmiana zakresu stosowania modelu).
8.2. Oczekuje się, że procesem zarządzania ryzykiem modeli będą objęte wszystkie modele wykorzystywane przez bank, tj. niezależnie od:
- źródeł pochodzenia modelu: modele wewnętrzne i zewnętrzne (w tym grupowe),
- fazy cyklu życia modelu: stosowany w działalności banku bądź planowany do wdrożenia,
- źródeł wykorzystywanych danych: oparte o dane wewnętrzne lub zewnętrzne,
- metody użytej do budowy modelu,
- oceny istotności modelu.
8.3. Bank powinien identyfikować źródło pochodzenia każdego z wykorzystywanych przez siebie modeli, tj. klasyfikować je do poniższych zbiorów:
- model wewnętrzny,
- model wewnętrzny zbudowany przy wsparciu podmiotu zewnętrznego,
- model zewnętrzny (niebędący modelem grupowym),
- model grupowy,
- inny (należy zdefiniować jaki).
8.4. W przypadku wykorzystywania przez bank źródeł danych innych niż wyłącznie wewnętrzne, w przypadku korzystania z danych od dostawców komercyjnych, bank powinien dążyć do uzyskania informacji na temat ich jakości (w tym stosowanych mechanizmów kontroli i walidacji jakości danych, a także okresowych wyników audytu jakości danych) i reprezentatywności do obszaru zastosowania modelu w banku, przy uwzględnieniu wymogów określonych w rekomendacji nr 8 Rekomendacji D.
8.5. W przypadku wykorzystywania modelu zewnętrznego, w ramach umów z dostawcą zewnętrznym, bank powinien zapewnić sobie dostęp do 9 :
- technicznej dokumentacji modelu (zawierającej co najmniej opis: źródeł i zakresu danych wykorzystanych do budowy modelu i oceny ich reprezentatywności dla obszarów zastosowania modelu w banku; założeń modelu i sposobu ich weryfikacji; zastosowanej metody budowy modelu; wszystkich komponentów modelu, sposobu ich budowy, parametryzacji i kalibracji; kryteriów wyboru modelu; oceny jakości działania modelu, w tym w porównaniu do modeli alternatywnych; uzasadnienia, że wybrany model będzie spełniał wymagania biznesowe banku),
- opisu wyników testów wdrożenia modelu,
- informacji na temat częstotliwości i zakresu badania jakości działania modelu,
- cyklicznych wyników oceny jakości działania modelu (w tym raportów z przeprowadzonego monitoringu, walidacji, audytu wewnętrznego),
- odpowiednio wczesnej informacji o wszystkich zmianach wprowadzanych do modelu lub zamiarze wycofania modelu z eksploatacji wraz z opisem zasad wprowadzania zmian do modelu,
- szkolenia z zakresu obsługi i działania modelu,
- bieżącego wsparcia użytkowników.
8.6. Oczekuje się, że bank wykorzystujący model o charakterze zewnętrznym będzie posiadał odpowiednie uzasadnienie dla zastosowania określonego modelu zewnętrznego zamiast własnego modelu (np. brak odpowiednich danych lub zasobów), w tym przedstawi alternatywne rozwiązania, które rozważał w ramach wyboru odpowiedniego podejścia.
8.7. Na banku spoczywa obowiązek wykazania wysokiego poziomu swojej wiedzy odnośnie zasad i szczegółów funkcjonowania modelu zewnętrznego, w tym m.in.:
- jednoznacznego określenia zakresu i zasad stosowania modelu oraz jego wyników w procesach i decyzjach realizowanych w banku,
- znajomości założeń i rodzaju metody wykorzystanej do budowy modelu,
- posiadania kompleksowej i bieżącej wiedzy nt. jakości działania modelu i jego odpowiedniości dla obszaru jego stosowania (zwłaszcza w kontekście odpowiedniości danych, na których był parametryzowany lub kalibrowany),
- posiadania informacji o sposobach zapewnienia ciągłości działania procesów, w ramach których wykorzystywany jest model,
a w odniesieniu do modelu klasyfikowanego jako istotny, posiadania także informacji o:
- zaletach, wadach i ograniczeniach wynikających z przyjętych założeń modelu (z uwzględnieniem wyborów eksperckich),
- zakresie danych wejściowych przetwarzanych przez model,
- sposobie dostosowania założeń i konstrukcji modelu do lokalnej specyfiki banku lub sytuacji makroekonomicznej Polski.
Elementy procesu zarządzania ryzykiem modeli
9.
Rekomendacja 9
Rekomendacja 9
9.1. Bank powinien zarządzać ryzykiem modeli w taki sposób, aby unikać stosowania modeli niespełniających zdefiniowanych przez bank miar jakości ich działania, a w przypadku banków posiadających nie tylko modele nieistotne, ekspozycja banku na ryzyko modeli nie powinna przekraczać poziomu odpowiadającego tolerancji na ryzyko modeli. Realizacja tego celu odbywa się w głównej mierze poprzez ograniczanie poziomu ryzyka poszczególnych modeli, zwłaszcza tych, które mają istotny wpływ na łączny poziom ryzyka modeli i w przypadku których istnieje duża przestrzeń do ograniczania poziomu tego ryzyka (związana z różnicą między poziomem ryzyka inherentnego a potencjalnym poziomem ryzyka rezydualnego).
9.2. Proces zarządzania ryzykiem danego modelu, realizując zasadę proporcjonalności, powinien być w pełni dostosowany do istotności danego modelu, a poszczególne działania podejmowane w odniesieniu do modelu powinny być uzależnione od bieżącego stopnia narażenia na ryzyko modelu 10 .
9.3. W zależności od istotności, rodzaju i obszaru wykorzystywania modelu, bank powinien określić, w jaki sposób różnicuje swoje podejście do zarządzania jego ryzykiem, z odpowiednim uwzględnieniem takich obszarów zarządzania tym ryzykiem jak:
- architektura i złożoność procesu zarządzania ryzykiem modelu z uwzględnieniem liczby uczestników i zakresu przypisanych im ról oraz odpowiedzialności w tym procesie (dostosowanie stopnia kompleksowości podejścia do specyfiki modelu),
- podział kompetencji decyzyjnych w odniesieniu do zarządzania danym modelem,
- szczegółowość metodyki budowy modelu,
- zakres i szczegółowość dokumentacji związanej z modelem,
- zakres przepisów wewnętrznych regulujących sposób korzystania z modelu,
- wymagania odnośnie minimalnych wartości kryteriów akceptacyjnych modeli,
- wymagania odnośnie jakości danych wykorzystywanych przez model,
- częstotliwość przeprowadzania monitoringu modelu i zakres analiz wykonywanych w jego ramach,
- częstotliwość przeprowadzania walidacji modelu i zakres analiz przeprowadzanych w jej ramach,
- zakres i szczegółowość udokumentowania wdrożenia technicznego modelu,
- dopuszczalny zakres i rodzaj korekt wyników zwracanych przez model,
- rodzaj środowiska produkcyjnego w jakim model ma funkcjonować,
- złożoność i częstotliwość przeprowadzania szacowania ryzyka modelu,
- zakres i szczegółowość informacji zarządczej w zakresie działania modelu,
- zakres potencjalnych działań zaradczych i naprawczych,
- skłonność do ponoszenia wydatków inwestycyjnych na ewentualną modyfikację modelu.
9.4. W procesie identyfikacji ryzyka modeli istotnych bank powinien weryfikować, na które kategorie ryzyka modeli dany model jest podatny. W odniesieniu do każdego ze stosowanych modeli istotnych bank powinien oceniać ewentualne narażenie modelu na:
- ryzyko związane z immanentnymi ograniczeniami w modelowaniu danego zjawiska - w zależności od specyfiki danego zjawiska, modele cechują się obiektywnie inną oczekiwaną skutecznością, toteż punktem wyjścia do formułowania oczekiwań odnośnie efektywności działania modelu powinna być ocena podatności danego zjawiska/ procesu na jego modelowanie,
- ryzyko danych - wynikające z: braku dostępu do wymaganych danych; niskiej jakości danych wejściowych; wadliwości procesów pozyskiwania, przetwarzania, agregowania i składowania danych; niewystarczającej liczebności próby; nieadekwatnej długości szeregów czasowych; nieodpowiedniej częstotliwości zasilania modelu danymi; niewystarczalności dostępnego zakresu danych w kontekście opisu przebiegu modelowanego procesu,
- ryzyko założeń - wynikające z: błędnej logiki działania modelu; ograniczonej funkcjonalności modelu w kontekście celów jakie ma on realizować; negatywnych wyników weryfikacji odpowiedniości poczynionych założeń do przebiegu modelowanego procesu w świecie rzeczywistym (w tym zwłaszcza dotyczących dynamiki tego procesu i opisujących go rozkładów statystycznych); niskiej jakości procesu oceny odpowiedniości założeń modelu; nieadekwatności metody/narzędzi/technik do modelowanego procesu; niekompletności modelu w kontekście uwzględniania przez niego wszystkich istotnych czynników wpływających na kształtowanie się modelowanego zjawiska; braku odpowiedniej równowagi pomiędzy poziomem złożoności modelu a stopniem jego odporności na efekt przeuczenia modelu; faktu stosowania nadmiernych uproszczeń lub komplikacji w stosunku do charakteru, skali lub złożoności modelowanego zjawiska; nieodpowiedniości założeń lub korekt eksperckich; braku stabilności oszacowań modelu; używania zmiennych lub parametrów nieobserwowalnych; niewłaściwego sposobu uwzględniania błędów oszacowań w oszacowaniach modelu,
- ryzyko administrowania - wynikające z: braku lub niskiej jakości przepisów wewnętrznych regulujących zarządzanie modelem lub jego ryzykiem; niskiej jakości dokumentacji; błędów w implementacji modelu (dotyczących zwłaszcza błędów programistycznych i niewystarczającej precyzji obliczeń); nieużywania lub błędnego używania modelu; nieodpowiedniej zmiany zakresu stosowania modelu; używania modelu do innych celów niż zakładane; braku, niepełnej lub błędnej informacji o aktualnej jakości działania modelu; nieodpowiednio ustalonej wysokości limitów służących do kontroli jakości działania modelu; nieefektywnego procesu eskalacji negatywnych wyników działania modelu; nieterminowego podejmowania działań; występowania konfliktu interesów w zarządzaniu ryzykiem modeli mogącego prowadzić do zatajania negatywnych informacji o faktycznej jakości działania modelu; wprowadzania nieautoryzowanych zmian do modelu; negatywnej oceny funkcjonalności lub jakości działania modelu przez użytkowników; nadmiernej skali przełamań wyników modelu,
a w procesie szacowania zagregowanego poziomu ryzyka uwzględniać także:
- ryzyko współzależności - wynikające z: opierania się na tych samych źródłach danych, metodykach budowy modeli, założeniach modeli czy technikach testowania modeli; wykorzystywania zmiennych objaśnianych lub wyników jednych modeli w charakterze danych wsadowych/zmiennych objaśniających innych modeli.
9.5. Proces szacowania poziomu ryzyka modeli istotnych ma charakter mierzalny. W ramach procesu szacowania poziomu ryzyka modeli istotnych bank powinien uwzględnić m.in. następujące uwarunkowania:
- dokonywać oceny poziomu ryzyka każdego modelu z uwzględnieniem stopnia narażenia na ryzyko modelu (przy czym ten czynnik powinien pełnić rolę stymulanty),
- posiadać precyzyjne zasady dokonywania oceny stopnia narażenia na zidentyfikowane kategorie ryzyka modeli oraz łączenia tych ocen w zagregowaną ocenę ryzyka modelu,
- wyodrębniać co najmniej trzy poziomy ryzyka (np. niskie, średnie, wysokie),
- dokonywać oceny poziomu ryzyka w ujęciu zagregowanym (ryzyko grup modeli/wszystkich modeli), przy czym metodyka agregacji ryzyk poszczególnych modeli powinna być wrażliwa na występowanie ewentualnych współzależności pomiędzy modelami.
9.6. W celu zapewnienia odpowiedniego sposobu kontroli ryzyka modelu bank powinien odpowiednio stosować, w szczególności, następujące mechanizmy kontrolne:
- określić kryteria akceptacyjne jakości działania modelu i związany z nimi proces eskalacji obejmujący działania zaradcze i naprawcze,
- starannie dokumentować proces budowy modelu,
- rozpocząć stosowanie modelu po uzyskaniu akceptacji wyników testów wdrożeniowych modelu do środowiska produkcyjnego potwierdzających posiadanie przez model wszystkich przewidzianych funkcjonalności i jego pełną zgodność działania z wersją wdrożoną w środowisku deweloperskim,
- wykonać kopię bezpieczeństwa modelu,
- nadać uprawnienia dostępu do kodu modelu tylko wąskiemu, wyspecyfikowanemu gronu osób,
- zapewnić rejestrowanie wszystkich zmian wprowadzanych do kodu modelu (autor zmiany, jej zakres i data),
- weryfikować czy sposób i okoliczności wykorzystywania modelu są zgodne z przyjętymi zasadami,
- zarządzać modelem we wszystkich fazach jego cyklu życia w oparciu o wysokiej jakości, zatwierdzone standardy postępowania,
- kontrolować ryzyko modeli na wszystkich szczeblach struktury organizacyjnej,
- przeprowadzać udokumentowany monitoring modelu,
- w obszarach istotnych z punktu widzenia ryzyka modelu wdrożyć skuteczny mechanizm kontrolny w postaci "dwóch par oczu", przy czym obydwie zaangażowane osoby powinny odznaczać się wiedzą merytoryczną w danym obszarze,
a w odniesieniu do modelu klasyfikowanego jako istotny - tam gdzie znajduje to uzasadnienie - również:
- rozpocząć proces testowania prawidłowości działania modelu już na etapie jego poszczególnych modułów, a nie dopiero jego ostatecznej formy,
- kompleksowo testować sposób działania modelu (podejście - jakościowe/ilościowe, metody - parametryczne/nieparametryczne/graficzne, poziom szczegółowości - ogólny/szczegółowy),
- nie ignorować nawet małych niezgodności/niespójności pomiędzy deweloperską a produkcyjną wersją modelu w celu unikania nawarstwiania się skutków ewentualnych błędów (tzw. "efekt kuli śnieżnej"),
- na bieżąco dostosowywać charakter modelu do skali i złożoności problemów poddanych modelowaniu i zapewniać, że uwzględniają one nowo zidentyfikowane źródła ryzyka,
- stosować szerszy wachlarz mechanizmów kontrolnych i na wyższym poziomie szczegółowości w odniesieniu do obszarów kluczowych z punktu widzenia generowania ryzyka przez dany model,
- regularnie aktualizować poziom ryzyka modelu, w tym każdorazowo po wystąpieniu okoliczności uzasadniających zaostrzenie tej oceny jednak nie rzadziej niż w cyklu rocznym.
9.7. W procesie monitorowania ryzyka modeli bank powinien m.in.:
- analizować jakość działania modelu, kierunek i dynamikę zmian w poziomie tej jakości z uwzględnieniem wpływu rodzaju i zakresu prowadzonych w odniesieniu do niego działań kontrolnych,
- weryfikować, czy podejmowane są odpowiednie działania zaradcze lub naprawcze oraz analizować status podjętych uprzednio działań,
- monitorować skuteczność stosowanych mechanizmów kontrolnych,
- stosować przyjęty system informacji zarządczej,
a w odniesieniu do modelu klasyfikowanego jako istotny, również:
- analizować w oparciu o aktualne wyniki szacowania ryzyka modeli kierunek i dynamikę zmian w poziomie tego ryzyka z uwzględnieniem wpływu rodzaju i zakresu prowadzonych w odniesieniu do niego działań kontrolnych,
- stosować możliwie jednolite na przestrzeni czasu metody szacowania ryzyka modeli celem zachowania spójności wyników.
9.8. W procesie raportowania ryzyka modeli bank powinien m.in.:
- dostosowywać charakter i zakres prezentowanych informacji do typu odbiorcy rzetelnie przedstawiając faktyczny poziom ryzyka modeli,
- wskazywać na zakres, charakter i zasadność potencjalnych działań zaradczych lub naprawczych w odniesieniu do danego modelu,
a w przypadku banku posiadającego modele nie tylko nieistotne, również:
- wskazywać przyczyny wpływające na aktualny poziom ryzyka modeli i informować o skuteczności dotychczas podejmowanych działań.
VI.
Zarządzanie modelami
Zarządzanie modelami
10.
Rekomendacja 10
Rekomendacja 10
10.1. Bank powinien posiadać rejestr modeli, zawierający - w odniesieniu do każdego z modeli - informacje dotyczące przynajmniej:
- nazwy, numeru wersji i rodzaju modelu,
- źródła pochodzenia, zakresu stosowania i celu działania modelu,
- oceny istotności modelu,
- lokalizacji dokumentów źródłowych związanych z modelem,
a dla modeli istotnych:
- oceny stopnia narażenia na ryzyko i poziomu ryzyka modelu,
- harmonogramu przyszłych działań związanych z modelem.
10.2. Podstawowe źródło informacji dla rejestru modeli powinny stanowić dzienniki poszczególnych modeli. Dane zawarte w rejestrze powinny być aktualne, kompletne i zintegrowane z danymi zawartymi w dziennikach poszczególnych modeli. Rejestr powinien być aktualizowany z częstotliwością dostosowaną do działań realizowanych w procesie zarządzania modelami, jednak nie rzadziej niż raz na kwartał.
10.3. Dla każdego z wykorzystywanych modeli bank powinien opracować i na bieżąco aktualizować dziennik modelu, w którym zawarta byłaby historia najważniejszych zdarzeń związanych z danym modelem (i jego poprzednimi wersjami, o ile występowały). Szczegółowy zakres zbieranych informacji powinien być dostosowany do specyfiki danego modelu, jednakże zawierać co najmniej:
- metrykę aktualnej i poprzednich wersji modelu (nazwa, numer wersji i rodzaj modelu; źródło pochodzenia, zakres stosowania i cel działania modelu; status modelu; wykaz rodzajów decyzji i procesów, w ramach których wykorzystywane są wyniki modelu; sposób wykorzystywania wyników modelu; data zatwierdzenia modelu do stosowania; data początku operacyjnego stosowania modelu; odwołanie do lokalizacji dokumentów źródłowych związanych z modelem; właściciel modelu; osoba/komitet/organ zatwierdzający model do stosowania; użytkownicy modelu),
- ocenę istotności modelu,
- odwołanie do lokalizacji dokumentów źródłowych związanych z zarządzaniem ryzykiem modelu (zawierających m.in.: informacje o działaniach kontrolnych przeprowadzanych w odniesieniu do modelu; zestawienie rekomendacji/zaleceń w odniesieniu do danego modelu i procesu jego stosowania; podsumowanie aktualnych statystyk jakości działania modelu wraz z ich merytoryczną oceną).
a w odniesieniu do modeli istotnych dodatkowo informacje obejmujące co najmniej:
- informacje o działaniach kontrolnych przeprowadzanych w odniesieniu do modelu (wykaz ewentualnych podjętych działań zaradczych i naprawczych),
- zestawienie rekomendacji/zaleceń o wysokim priorytecie w odniesieniu do danego modelu i procesu jego stosowania (charakter, podmiot wydający zalecenie, aktualny status),
- wartości aktualnych, najistotniejszych statystyk jakości działania modelu,
- ocenę stopnia narażenia na ryzyko i poziomu ryzyka modelu,
- odwołanie do lokalizacji dokumentów zawierających plan działań związanych z modelem (m.in. ewentualne działania eskalacyjne w toku, daty planowanych działań kontrolnych, oczekiwana data aktualizacji modelu).
10.4. Dziennik modelu powinien być opracowany w sposób umożliwiający osobom trzecim pełne odtworzenie historii działań związanych z danym modelem oraz ich logiki.
Fazy cyklu życia modeli
11.
Rekomendacja 11
Rekomendacja 11
11.1. Bank powinien ustalić formalne zasady w zakresie:
- dokumentowania procesu budowy modeli i przygotowywania danych służących do budowy i bieżącego zasilania modeli,
- wdrażania modeli (zasady wdrażania modeli do środowiska IT oraz włączania do procesów realizowanych w banku),
- aktualizowania/zastępowania modeli.
W przypadku modeli istotnych formalne zasady powinny dotyczyć także podejścia do budowy modeli (metodyki budowy modeli).
11.2. Działania banku prowadzone w danych fazach cyklu życia modeli powinny być starannie udokumentowane w sposób zapewniający występowanie kompletnej, aktualnej i audytowalnej dokumentacji, której szczegółowość powinna korespondować z poziomem istotności modelu, którego ona dotyczy.
11.3. W zakresie procesu budowy i przygotowywania danych służących do budowy i bieżącego zasilania modeli należy udokumentować następujące elementy 11 , o ile ich występowanie znajduje zastosowanie do danego modelu:
- cel budowy modelu i opis potrzeby jaką ma zaspokajać,
- określenie zakresu stosowania modelu w odniesieniu do rodzajów i typów ekspozycji bądź instrumentów,
- określenie procesów, w ramach których wykorzystywany jest model lub jego wyniki, informacje dotyczące powiązań aktualnej wersji modelu z poprzednimi,
- źródło pochodzenia modelu, tj. określenie, czy model zbudowany został wewnątrz banku (jeżeli bank korzystał ze wsparcia podmiotu zewnętrznego należy określić zakres współpracy), czy poza bankiem (przez podmiot zewnętrzny lub w ramach grupy),
- rodzaj modelu, tj. określenie, czy jest to model teoretyczny, statystyczny, ekspercki, czy mieszany wraz z uzasadnieniem wyboru,
- wykaz założeń stanowiących podstawę budowy modelu, analizę stopnia ich spełnienia w rzeczywistości oraz ewentualnych zagrożeń wynikających z braku ich spełnienia,
- opis struktury modelu z wyszczególnieniem części składowych i powiązań pomiędzy nimi,
- opis stosowanych źródeł danych wraz ze wskazaniem, czy są to dane wewnętrzne, czy dane zewnętrzne (w takim przypadku należy określić ich źródła, zakres przedmiotowy i czasowy oraz kraj/kraje pochodzenia), ich lokalizację w systemach informatycznych oraz opis sposobu bieżącego zasilania modelu danymi,
- rodzaj danych wraz z informacją na temat jakości tych danych w kontekście wymagań stawianych przez model (z uwzględnieniem specyficznych wymagań dla procesu zapewniania jakości danych przedstawionych w rekomendacji nr 8 Rekomendacji D),
- opis sposobu łączenia danych pochodzących z różnych źródeł,
- ocenę spójności definicji zmiennych (zwłaszcza zmiennej objaśnianej) w okresie objętym próbą,
- opis ewentualnych wyłączeń danych z próby do budowy modelu z podziałem na przyczyny i liczebności tych przypadków,
- opis zastosowanego podejścia w zakresie postępowania z błędnymi danymi, brakami danych, danymi odstającymi a także z danymi, których definicja lub kategoryzacja ulegała zmianie na przestrzeni czasu,
- opis zastosowanych transformacji zmiennych wejściowych, ich powodów wraz z analizą intuicyjności otrzymanych wyników,
- horyzont czasowy i liczebność próby,
- podział zbioru danych na zmienne objaśniające i objaśniane,
- opis i uzasadnienie wyboru określonych zmiennych objaśniających oraz ich wag wraz z oceną wystarczalności/ kompletności uwzględnionego zakresu danych w kontekście ich wartości informacyjnej,
- informacje na temat zidentyfikowanych słabych stron modelu, jego ograniczeń i okoliczności, w których model nie działa skutecznie,
- stosowane kryteria oceny jakości działania modelu wraz z uzasadnieniem i oceną stopnia spełnienia tych kryteriów przez finalną postać modelu,
- ocenę intuicyjności zwracanych przez model oszacowań,
- opis elementów konserwatyzmu zawartych w modelu, w tym skali i stopnia zastosowanych ewentualnych korekt eksperckich i ich przyczyn,
a w przypadku modeli istotnych również:
- analizę reprezentatywności danych stanowiących przedmiot budowy modelu do aktualnej struktury danych (w tym zwłaszcza uzasadnienie dla wyboru szeregów czasowych o określonej długości),
- ocenę wpływu zmian technologicznych wynikających z ewentualnej migracji danych między systemami informatycznymi banku (jeśli nastąpiła w okresie objętym próbą) na jakość danych zawartych w repozytorium danych oraz na oszacowania modelu,
- wymagania techniczne w odniesieniu do infrastruktury informatycznej obsługującej model (m.in. w odniesieniu do maksymalnego czasu przeliczenia wyników modelu, gwarantowanej dostępności modelu czy funkcjonalności interfejsu użytkownika),
- odwołanie do metodyki budowy modelu wraz ze wskazaniem zakresu ewentualnych odstępstw i ich przyczyn,
- informacje na temat obszarów, w których można dokonać ewentualnych przyszłych udoskonaleń modelu,
- ocenę jakości działania modelu w porównaniu z alternatywnymi rozważanymi modelami,
- ocenę odporności modelu na zwracanie niepoprawnych oszacowań w warunkach skrajnych,
- opis procesu konsultacji założeń i sposobu działania modelu z ekspertami biznesowymi (użytkownikami) wraz z oceną wpływu tych konsultacji na finalną postać modelu.
11.4. W przypadku stosowania modeli, dla których środowiskiem produkcyjnym jest oprogramowanie użytkownika końcowego (tzw. EUC), bank zobligowany jest do podjęcia działań skutkujących zapewnieniem bezpieczeństwa stosowania takiego modelu 12 a także do objęcia modelu właściwymi mechanizmami kontrolnymi minimalizującymi ryzyko jego niewłaściwej implementacji, proporcjonalnymi w natężeniu i skali do istotności modelu.
11.5. W odniesieniu do procesu wdrożenia technicznego modeli do dedykowanego środowiska produkcyjnego bank powinien zapewnić, że:
- przeprowadzono testy wdrożeniowe a ich wyniki wskazują na pełną zgodność działania modelu i zakres jego funkcjonalności z wersją wdrożoną w środowisku deweloperskim, w ich ramach należy m.in.: zbadać zgodność zaimplementowanych formuł modelu z jego dokumentacją techniczną; pokryć przypadkami testowymi liczne kombinacje parametrów modelu, w tym zwłaszcza ich wartości skrajne; przeanalizować zgodność wyników otrzymanych z systemu produkcyjnego z wynikami przetworzenia danych poza systemem; zweryfikować czy migracja danych do i z modelu działa poprawnie; ocenić czy interfejs użytkownika zapewnia dostęp do wszystkich przewidzianych funkcjonalności modelu i jest wystarczająco intuicyjny w obsłudze dla użytkownika,
- ewentualne błędy wykryte na etapie produkcyjnego funkcjonowania modelu są rejestrowane i korygowane, co do zasady bez zbędnej zwłoki, jednak w tempie nie mniejszym niż proporcjonalnym do ich wpływu na poziom ryzyka modelu i jego właściwe funkcjonowanie,
a w przypadku modeli istotnych również, że:
- proces wdrożenia modelu bazuje na zaakceptowanym planie wdrożenia (obejmującym m.in.: cele/produkty końcowe; zadania; zakresy odpowiedzialności eksperta ds. wdrożenia technicznego, właściciela modelu i użytkownika modelu; harmonogram wdrożenia uwzględniający zaangażowanie wszystkich interesariuszy wewnętrznych) i uwzględniający ewentualne różnice jakie występują pomiędzy środowiskiem deweloperskim modelu a produkcyjnym,
- rodzaj, zakres i scenariusze testów wdrożeniowych są jednoznacznie określone i dostosowane do charakterystyki działania danego modelu oraz systemu produkcyjnego w jakim ma być on wdrożony,
- z procesu wdrożenia przygotowywany jest szczegółowy raport (w sytuacji kiedy w trakcie wdrożenia technicznego dokonano pewnych uproszczeń i model w środowisku produkcyjnym nie jest wiernym odzwierciedleniem modelu ze środowiska deweloperskiego, w raporcie należy zawrzeć wykaz wszystkich różnic i dokonać oceny ich wpływu na ryzyko modelu).
11.6. W odniesieniu do procesowego wdrożenia modelu bank powinien zapewnić, że:
- regulacje wewnętrzne banku określające rolę, zasady i sposób wykorzystywania modelu w procesach i decyzjach realizowanych w banku są aktualizowane w ślad za zmianami wprowadzanymi do modeli lub procesów ich stosowania (dotyczy zwłaszcza "podręcznika użytkownika modelu" oraz "instrukcji wykorzystywania wyników modelu w procesach lub decyzjach realizowanych w banku"),
- wszyscy interesariusze wewnętrzni są odbiorcami informacji dotyczących aktualnego statusu modelu w banku,
- użytkownicy modelu zostali kompleksowo przeszkoleni z zasad jego obsługi w systemie w jakim został on produkcyjnie wdrożony,
- użytkownicy modelu (z wyłączeniem użytkowników zaangażowanych w proces sprzedaży i odnawiania ekspozycji) posiadają bieżącą wiedzę na temat struktury i zasad działania modelu,
- użytkownicy znają zasady stosowania modelu (w tym zwłaszcza zasady stosowania odstępstw od użycia modelu lub dokonywania korekt zwracanych przez niego wyników),
- w przypadku decyzji o wycofaniu modelu z użytkowania, proces jego zastąpienia przez nowy model powinien przebiegać w sposób zapewniający bankowi utrzymanie ciągłości funkcjonalności wymaganych do dostarczania przez model (tj. m.in. zapewnienie ciągłości procesu, w ramach którego jest wykorzystywany),
- w banku istnieje efektywny kanał komunikacji uwag ze strony użytkowników modeli w kierunku twórców modeli ukierunkowany na ograniczenie słabości i ryzyk modeli zidentyfikowanych w toku ich bieżącego wykorzystywania.
11.7. Wprowadzone w banku zasady aktualizacji modeli powinny zapewniać by zakres zmian wprowadzanych do modelu był jednoznacznie identyfikowalny oraz by nowa wersja modelu cechowała się wzrostem jakości względem wersji poprzedniej (o ile aktualizacja nie wynika z przesłanek zewnętrznych względem banku - tj. np. zmian regulacyjnych) na poziomie uzasadniającym ekonomiczną opłacalność przeprowadzenia procesu aktualizacji (np. symboliczny wzrost miary jakości działania modelu może nie być wystarczającą przesłanką uzasadniającą poniesienie nakładów finansowych na wdrożenie jego nowej wersji), natomiast w odniesieniu do modeli istotnych, o ile to możliwe, dodatkowo powinny być spełnione również poniższe warunki:
- wraz z nabywaniem doświadczenia w zarządzaniu modelami bank ma dążyć do udoskonalania zasad, technik i metod wykorzystywanych w zarządzaniu modelami i współmiernego podwyższania minimalnych progów akceptacyjnych modeli (co oznacza m.in. dokonywanie uzasadnionych aktualizacji także tych spośród modeli, które spełniają minimalne kryteria jakościowe),
- cyklicznie, wraz z uzyskiwaniem nowych danych, bank powinien weryfikować zasadność aktualizacji modelu w oparciu o nową próbę obserwacji,
- w przypadku zamiaru objęcia dotychczas stosowanym modelem nowego obszaru stosowania (np. rodzaje produktów lub ekspozycji), dotychczasowy model powinien być należycie dostosowany (np. reparametryzowany lub rekalibrowany) do nowego obszaru stosowania.
11.8. Posiadane przez bank metodyki budowy modeli istotnych powinny:
- uwzględniać aktualny stan wiedzy na temat stosowanych w praktyce bankowej rozwiązań w zakresie modelowania określonego zjawiska, przy czym wskazane są także odwołania do bieżącej akademickiej literatury przedmiotu,
- wskazywać na preferowane przez bank podejścia metodologiczne do budowy modeli w określonych obszarach,
- wprowadzać bazę terminologiczną spójnie wykorzystywaną w praktyce banku,
- zawierać szczegółowy opis poszczególnych rozwiązań wraz z identyfikacją ich wad i zalet, jak również wskazywać na optymalne rozwiązanie w określonych uwarunkowaniach (np. ze względu na ilość dostępnych danych),
- przedstawiać w detalach i w sposób chronologiczny etapy budowy modelu oraz działania do podjęcia na każdym z etapów (ze szczególnym uwzględnieniem kwestii związanej z pozyskiwaniem i przetwarzaniem danych),
- uwrażliwiać na potencjalnie występujące trudności w budowie modeli i wskazywać na możliwe sposoby oddziaływania na zmniejszenie ich negatywnego wpływu na jakość działania modeli,
- wskazywać na konieczne (i potencjalne) testy lub obliczenia jakie należy wykonać na etapie budowy modelu oraz stosowane miary oceny jakości działania modelu,
- jednoznacznie i przejrzyście prezentować (np. w formie przykładów) właściwy sposób wyznaczania stosowanych w procesie budowy modelu miar i interpretacji ich wartości,
- ustalać zasady wzorcowego dokumentowania modeli,
- przy założeniu, że są poprawnie stosowane, w znacznym stopniu ograniczać ryzyko powstania niskiej jakości działania modeli.
Jakość danych
12.
Rekomendacja 12
Rekomendacja 12
12.1. Wykorzystywanie przez model wysokiej jakości danych jest kluczowe z punktu widzenia możliwości generowania przez niego prawidłowych wyników, toteż od banku wymaga się podejmowania działań ukierunkowanych na stałe podwyższanie jakości tych danych.
12.2. Zarządzanie jakością danych wykorzystywanych na potrzeby modeli powinno odbywać się w oparciu o zatwierdzone standardy działania zgodne z ogólnymi zasadami wynikającymi z rekomendacji nr 8 Rekomendacji D.
12.3. Od banku oczekuje się intensyfikacji działań kontrolnych w obszarze zarządzania jakością danych szczególnie w sytuacji, gdy:
- dotychczas stosowane metody zapewniania wysokiej jakości danych cechowały się ograniczoną efektywnością,
- poziom automatyzacji przetwarzania danych jest ograniczony,
- bank wykorzystuje liczne źródła danych (zwłaszcza w sytuacji kiedy ich architektura nie jest w pełni spójna),
- dane podlegają ręcznym modyfikacjom,
- część danych utrzymywana jest poza systemami IT.
12.4. W sytuacji kiedy proces zasilania modelu w dane ma charakter automatyczny należy zapewnić, aby:
- prowadzony był bieżący monitoring w odniesieniu do źródeł danych, którego celem jest weryfikacja, czy zakres/ układ zmiennych oraz sposób ich kodowania nie uległ zmianom (w sytuacji zamiaru wprowadzenia takich zmian należy z odpowiednim wyprzedzeniem dostosować proces pozyskiwania danych),
- ustalone były jednoznaczne reguły odpowiedzi modelu na dane o nieodpowiedniej jakości (np. braki określonych danych czy zmiany ich formatu) niedopuszczające do sytuacji, w której te dane będą traktowane przez model jako poprawne,
- zidentyfikowane błędy w danych były rejestrowane i komunikowane odpowiednim odbiorcom.
12.5. W sytuacji kiedy proces zasilania modelu w dane ma charakter manualny należy zapewnić, aby:
- zaimplementowane były odpowiednie reguły kontrolne w znacznym stopniu redukujące ryzyko wprowadzenia danych niespełniających przewidzianych dla nich kryteriów jakościowych,
- osoba wprowadzająca dane postępowała według ściśle określonych instrukcji regulujących m.in.: układ, format i zakres dopuszczalnych wartości przyjmowany przez dane,
- jakość wprowadzanych danych była niezależnie monitorowana.
12.6. Bank powinien dysponować aktualną i kompletną informacją nt. jakości danych wykorzystywanych przez poszczególne modele, a także uwzględniać wpływ jakości tych danych na poziom ryzyka modeli.
12.7. Przed przystąpieniem do weryfikacji jakości oszacowań modelu należy upewnić się, że dane mające stanowić przedmiot wykonywanych analiz cechują się pożądaną jakością. Kryteria i miary jakości danych powinny być zdefiniowane przez bank.
Jakość działania modeli
13.
Rekomendacja 13
Rekomendacja 13
13.1. Bank powinien posiadać sformalizowane zasady przeprowadzania badania jakości działania modeli (w tym dokonywać oceny na podstawie zatwierdzonych metodyk takiego badania), uwzględniające z jednej strony istotność i specyfikę modelu, z drugiej ewentualny podział zadań pomiędzy właścicieli modeli a jednostkę walidacji zorganizowany w sposób zapewniający uzyskanie pełnej, bieżącej wiedzy na temat jakości działania modeli.
13.2. Bank powinien przeprowadzać regularną weryfikację jakości działania modeli, w tym w szczególności powinien posiadać bieżącą informację odnośnie stopnia spełnienia przez dany model określonych dla niego kryteriów jakości działania.
13.3. Każdorazowo jakość działania modelu powinna być oceniana przez pryzmat: celu jego stosowania, wymagań biznesowych i aktualnych warunków ekonomicznych.
13.4. Dla każdego z wykorzystywanych modeli bank powinien opracować zestaw minimalnych kryteriów akceptacyjnych (miar progowych), które odnosiłyby się do kluczowych obszarów oceny jakości działania modelu. Rodzaje i wartości progowe stosowanych miar powinny być dostosowane do specyfiki poszczególnych modeli, fazy cyklu ich życia i respektować zasadę proporcjonalności (tj. wymagania co do zakresu testowania i minimalnego poziomu jakości modeli powinny uwzględniać istotność modelu dla banku, przy czym istotniejsze modele powinny być objęte szerszym zakresem testowania i cechować się wyższą jakością) oraz - w przypadku modeli istotnych - uwzględniać wpływ statystycznych błędów pomiaru (wynikających z ograniczonej liczebności próby obserwacji) na wartości miar.
13.5. Należy bazować na spójnych miarach w ocenie jakości działania modeli w celu zachowania porównywalności ocen pomiędzy różnymi modelami na przestrzeni czasu 13 . Interpretacja wartości tych miar powinna być wspomagana również osądem eksperckim.
13.6. Założenia i warunki stosowalności testów statystycznych powinny być rozpoznane, aby w ocenie modeli nie popełniać błędów metodologicznych (np. założenia o niezależności bądź liniowym charakterze zależności pomiędzy zmiennymi lub ich określonym rozkładzie statystycznym).
13.7. Zakres przyjętych metod weryfikacji jakości działania modelu powinien być dostosowany do jego specyfiki i potencjalnie obejmować:
- weryfikację historyczną (backtesting) - która pozwala na dokonywanie bezwzględnej oceny jakości działania modelu oraz służy weryfikacji stopnia zgodności oszacowań modelu z ich realizacją empiryczną; należy przy tym stosować różnorodne komplementarne względem siebie testy dopasowane do specyfiki działania modelu i najistotniejszych wymiarów jego jakości (każdy test ma założenia i określone słabości i bazowanie tylko na jego wynikach jest ryzykowne); każdorazowo należy krytycznie oceniać wyniki testów szczególnie z uwzględnieniem wpływu założeń modelu na ich wyniki,
- analizę wrażliwości (jedno- i wieloczynnikową) - ukierunkowaną na wnioskowanie w zakresie odpowiedniości siły reakcji wyników modelu na zmiany w wartościach zmiennych objaśniających lub wrażliwości wyników modelu na zmianę parametryzacji założeń modelu (w tym ocenę czy poziom zmienności wyników generowanych przez model jest odpowiednio wrażliwy na zmienność faktycznie obserwowanych wartości zmiennej objaśnianej),
- stress-testy - służące weryfikacji odpowiedniości specyfikacji modelu (zwłaszcza w odniesieniu do postaci funkcyjnej relacji pomiędzy zmiennymi objaśniającymi a zmienną objaśnianą) w sytuacji znacznych zmian w poziomach zmiennych wejściowych,
- benchmarking - pozwalający na dokonywanie względnej weryfikacji jakości działania modelu, stosowany zwłaszcza w sytuacji występowania ograniczeń w dostępności do danych pozwalających na przeprowadzenie efektywnego backtestingu; benchmarking powinien być stosowany w szczególności na etapie podejmowania decyzji o wyborze modelu oraz aktualizacji/zastąpienia modelu (tzw. metoda "champion-challenger"),
- analizę jakościową - ukierunkowaną w głównej mierze na ocenę adekwatności koncepcji modelu do bieżącej sytuacji oraz aktualności jego założeń do zmieniającego się otoczenia zewnętrznego i wewnętrznego, a także na identyfikację potencjalnych przyczyn określonych rezultatów analiz ilościowych modelu; w jej trakcie analizowane są też ewentualne uwagi użytkowników odnośnie struktury modelu i sposobu jego funkcjonowania.
13.8. Jako niezbędne minimum w zakresie przeprowadzania weryfikacji jakości działania modeli nieistotnych należy wskazać na konieczność przeprowadzania przez bank - w odniesieniu do stosowanych modeli, w szczególności ich założeń - oceny wewnętrznej uwzględniającej testowanie i weryfikację historyczną (backtesting), którą należy utożsamiać z podstawową wersją monitoringu - częstotliwość takiego badania, co do zasady powinna być roczna, w uzasadnionych przypadkach mniejsza (np. ze względu na ograniczoną dostępność danych), jednakże nie mniejsza niż trzyletnia. W miarę zwiększania zakresu wykorzystania modeli w zarządzaniu ryzykiem wynikającym z działalności bankowej, taka weryfikacja - poprzez zwiększanie jej zakresu (np. poprzez wykorzystywanie szerszej gamy testów w ramach określonego obszaru testowego lub wykorzystywanie szerszej gamy metod testowania) i częstotliwości - powinna nabierać cech regularnego oraz kompleksowego monitoringu modeli. W odniesieniu do modeli istotnych, częstotliwość takiego badania powinna być nie mniejsza niż roczna, a w sytuacji dostępności danych, odpowiednio większa.
13.9. W sytuacji stwierdzenia, że oszacowania modelu mogą przedstawiać obraz badanego zjawiska w sposób niewystarczająco precyzyjny, rekomendowane jest uzupełnianie tych oszacowań o margines konserwatyzmu.
Proces eskalacji negatywnych wyników weryfikacji jakości działania modeli
14.
Rekomendacja 14
Rekomendacja 14
14.1. Oczekuje się, że funkcjonujący w banku proces eskalacji negatywnych wyników weryfikacji jakości działania modeli będzie obejmował swoim zakresem zarówno działania zaradcze (inicjowane w odpowiedzi na wczesne symptomy świadczące o możliwości wzrostu poziomu ryzyka modeli), jak i naprawcze (inicjowane w odpowiedzi na wyraźne sygnały świadczące o wzroście poziomu ryzyka modeli).
14.2. Funkcjonujący w banku proces eskalacji negatywnych wyników weryfikacji jakości działania modeli powinien zapewniać sprawne i terminowe podejmowanie właściwych działań zaradczych i naprawczych o skali i charakterze proporcjonalnym do istotności zidentyfikowanych słabości w sposobie funkcjonowania modeli.
14.3. Definiując katalog właściwych działań zaradczych i naprawczych bank powinien uwzględnić w nim także zakres przesłanek wskazujących na zasadność podjęcia poszczególnych działań oraz dostosować je do specyfiki modelu, którego one dotyczą. Zbiór możliwych do zastosowania działań może potencjalnie uwzględniać m.in.:
- wzmożoną obserwację trendu kształtowania się danego wymiaru jakości działania modelu,
- przeprowadzenie pogłębionych analiz ad hoc (lub walidacji modelu) dostarczających szerszej informacji na temat przyczyn pogorszenia się jakości działania modelu (w tym uwzględniających kompleksową weryfikację adekwatności założeń modelu),
- bieżący benchmarking wyników modelu do modeli alternatywnych,
- zwiększenie częstotliwości lub zakresu typowo prowadzonych czynności kontrolnych,
- rozpoczęcie uwzględniania błędu oszacowania w wynikach modelu (lub zwiększenie stosowanego poziomu ufności dla wyznaczanego błędu oszacowania w sytuacji uprzedniego uwzględniania błędu oszacowania w wyniku modelu) lub nałożenie innych, odpowiednich do rodzaju zidentyfikowanych słabości narzutów ostrożnościowych (np. z tytułu słabszej jakości danych wejściowych),
- zmianę wybranych założeń modelu,
- zainicjowanie/przyspieszenie prac nad modyfikacją/aktualizacją/zastąpieniem modelu,
- zmianę zasad uwzględniania wyników modelu w decyzjach realizowanych w banku (np. zmiana tzw. punktu odcięcia - ang. cut-off),
- ograniczenie zakresu stosowania modelu,
- czasowe zwiększenie skali dopuszczalnych przełamań wyników modelu,
- czasowe/trwałe wyłączenie modelu z użycia.
14.4. Opracowany katalog działań zaradczych i naprawczych powinien różnicować je przynajmniej na działania potencjalne i obligatoryjne do podjęcia w odpowiedzi na wystąpienie określonych okoliczności w stosunku do danego modelu.
VII.
Walidacja
Walidacja
15.
Rekomendacja 15
Rekomendacja 15
15.1. W bankach, które posiadają modele istotne powinna funkcjonować niezależna (co najmniej względem jednostek organizacyjnych banku pełniących rolę właścicieli i użytkowników modeli) komórka walidacji. Jej liczebność powinna być dostosowana do liczby i charakteru modeli stanowiących przedmiot walidacji 14 . W przypadku modeli nieistotnych objęcie ich procesem niezależnej walidacji uzależnione jest od indywidualnej, przeprowadzanej przez bank, oceny zasadności tego przedsięwzięcia.
15.2. Podstawowym celem walidacji modeli, który powinien być zapewniony przez bank, jest redukcja poziomu ryzyka modeli poprzez:
- weryfikację poprawności i ocenę skuteczności działania modelu oraz sposobu jego funkcjonowania,
- identyfikację obszarów, w których można wprowadzić uzasadnione udoskonalenia dotyczące zarówno w sposób bezpośredni samego modelu jak i procesu jego stosowania,
- formułowanie odpowiednich zaleceń i nadawanie im odpowiedniej priorytetyzacji,
- weryfikację jakości realizacji sformułowanych zaleceń,
- promowanie wysokich standardów zarządzania modelami 15 .
15.3. W celu uniknięcia konfliktu interesów i uchronienia komórki walidacji przed potencjalnymi negatywnymi wpływami innych jednostek organizacyjnych banku (tj. pełniących funkcję właściciela lub użytkownika modeli stanowiących przedmiot kontroli przez komórkę walidacji) na charakter ustaleń z walidacji, rekomenduje się, aby komórka walidacji administracyjnie i funkcjonalnie bezpośrednio podlegała członkowi zarządu odpowiedzialnemu za nadzór nad obszarem związanym z zarządzaniem ryzykiem modeli. Ponadto komórka walidacji powinna mieć niekwestionowane prawo do wydawania wiążących zaleceń - w tym względzie, rekomendowana podległość jednostki walidacji powinna zapewnić nadanie zaleceniom odpowiedniego priorytetu i gwarancję zaangażowania właściwych zasobów celem ich sprawnej realizacji.
Wzmocnienie funkcjonalnej niezależności komórki walidacji jest realizowane poprzez podejmowanie następujących działań:
- nieuczestniczenie osób/jednostek podlegających ocenie przez komórkę walidacji w ramach sprawowanych przez nią czynności kontrolnych w procesie oceny jakości pracy pracowników komórki walidacji lub wynikających z tej oceny poziomów wynagrodzenia,
- niewykonywanie przez pracowników komórki walidacji zadań, których realizacja będzie przedmiotem oceny przez tę komórkę,
- zapewnienie, w przypadku przeprowadzania rekrutacji wewnętrznej do komórki walidacji, aby pracownik komórki walidacji nie był odpowiedzialny za dokonywanie oceny wykonywanych przez siebie - w ramach poprzedniego stanowiska - działań przez okres co najmniej roku,
- rozlokowanie stanowisk pracy w sposób zapewniający możliwość dokonywania bezstronnej i obiektywnej oceny działań jednostek kontrolowanych,
- zapewnienie rotacji w zakresie przypisywania modeli do oceny poszczególnym pracownikom komórki walidacji w taki sposób, aby dany pracownik nie dokonywał oceny tego samego modelu trzy razy z rzędu 16 .
Zakres walidacji
16.
Rekomendacja 16
Rekomendacja 16
16.1. Bank powinien posiadać pisemną metodykę walidacji określającą cele i przebieg procesu walidacji oraz stosowane procedury, metody i narzędzia, jak i uzasadnienie, że stosowanie tych procedur, metod i narzędzi sprzyja osiąganiu zamierzonych celów. W szczególności specyfikacja poszczególnych testów jakości działania modeli, wykonywanych przez komórkę walidacji, powinna być spójna z poziomem tolerancji banku na ryzyko modeli.
16.2. Kształtując proces walidacji należy pamiętać, że nie ma jednego uniwersalnego podejścia do walidacji, które byłoby zawsze dobrze wkomponowane w specyfikę banku i gamę wykorzystywanych w nim modeli - dlatego sposób realizacji zadań wynikających z metodyki walidacji (a niekiedy wykraczających poza ściśle wyspecyfikowane ramy) powinien być każdorazowo elastycznie dostosowywany do charakterystyki modelu.
16.3. W celu sprawowania w sposób efektywny działań kontrolnych przypisanych komórce walidacji, procesem walidacji (z zachowaniem odpowiedniego dostosowania zakresu zadań do danego rodzaju walidacji) powinny być objęte wszystkie identyfikowane przez bank kategorie ryzyka modeli, tj. proces walidacji powinien być zwłaszcza ukierunkowany na analizę takich aspektów zarządzania ryzykiem modeli jak:
- stosowanie modelu w procesach i decyzjach realizowanych w banku,
- poprawność wdrożenia,
- logiczna i spójna koncepcja teoretyczna,
- właściwa jakość danych zasilających model,
- adekwatność założeń i ocena słabych stron/ograniczeń modelu,
- ocena statystyk dotyczących jakości działania modelu,
- ocena rozwiązań alternatywnych,
- zgodność z wymaganiami wewnętrznymi i zewnętrznymi,
- proces raportowania wyników modelu,
- proces realizacji zaleceń z walidacji,
- jakość dokumentacji,
- ocenę zmian w modelach.
16.4. Każdorazowo z procesu walidacji przygotowywany jest raport, w którym należy precyzyjnie wskazać, które komponenty modelu i jego stosowania zostały zbadane przez komórkę walidacji (zgodnie z planem walidacji), które nie - ze względu na brak technicznych możliwości (np. brak danych), a które - z innych względów (np. mała istotność).
16.5. Co do zasady, każdy model istotny powinien zostać objęty rocznym cyklem walidacji okresowej. Dla niektórych rodzajów modeli istotnych, jeśli wynika to wprost ze specyfiki ich funkcjonowania, częstotliwość walidacji może być mniejsza niż roczna (jednakże nie mniejsza niż trzyletnia). Przypadki takich modeli powinny być dokładnie uzasadnione, traktowane w sposób spójny i konsekwentny na przestrzeni czasu i z wyprzedzeniem odpowiednio ujmowane w planie pracy komórki walidacji.
16.6. W uzasadnionych przypadkach dopuszcza się występowanie sytuacji kiedy zakres przedmiotowy walidacji ulega zawężeniu, bądź data walidacji ulega jednorazowemu odroczeniu 17 , o ile spełniony jest co najmniej jeden z poniższych warunków dodatkowych:
- za dany rok nie odnotowano wystarczającej ilości danych wymaganych do przeprowadzenia standardowego testowania w oparciu o miary ilościowe (dotyczy zwłaszcza modeli dla tzw. segmentu low-default-portfolio),
- model jest w trakcie przebudowy i wkrótce nastąpi jego wycofanie (tj. okres od daty ostatniej walidacji modelu do daty jego planowanego wycofania z użycia nie powinien być dłuższy niż 24 miesiące),
- wyniki ostatniej walidacji nie wykazały istotnych słabości modelu, aktualny poziom jego ryzyka nie jest wysoki, wyniki monitoringu wskazują na jego wysoką jakość, użytkownicy nie kwestionują jakości modelu, proces stanowiący przedmiot modelowanego zjawiska cechuje się stabilnością a wszystkie ewentualne zalecenia komórki walidacji i audytu o wysokim priorytecie w przedmiocie modelu są zrealizowane.
Należy jednak mieć na względzie, że decyzję o odstąpieniu od przeprowadzania walidacji lub zawężeniu jej zakresu przedmiotowego każdorazowo powinien podejmować członek zarządu nadzorujący działanie komórki walidacji.
16.7. Komórka walidacji wykonuje swoje zadania w oparciu o ustalony, co najmniej w horyzoncie rocznym, plan pracy. Plan ten powinien:
- zakładać objęcie każdego modelu istotnego procesem walidacji zgodnie z ustalonym cyklem,
- uwzględniać czas na przeprowadzenie prewalidacji 18 dla nowych modeli oraz walidacji ich wdrożenia 19 ,
- uwzględniać czas potrzebny na weryfikację postępów w realizacji wydanych uprzednio zaleceń (weryfikacja zgodności procesu realizacji zaleceń z jego harmonogramem),
- uwzględniać czasowe rozproszenie działań wykonywanych w odniesieniu do poszczególnych modeli (np. dążyć do koordynacji działań z właścicielami poszczególnych modeli, aby daty monitoringu i walidacji danego modelu cechowały się odpowiednim przesunięciem czasowym),
- przewidywać odpowiedni bufor czasowy na walidacje wykonywane ad hoc.
16.8. Skuteczne przeprowadzanie walidacji wymaga zaangażowania zasobów o holistycznej wiedzy i kompetencjach - z reguły niezbędnym wymaganiem jest odpowiedni poziom wiedzy z zakresu nauk ścisłych (konieczność rozumienia mechanizmów funkcjonowania poszczególnych modeli, wiedza odnośnie optymalnych metod testowania modeli, umiejętność krytycznej oceny założeń modeli), ale także umiejętność wykorzystywania narzędzi informatycznych (zwłaszcza tych, które wykorzystują właściciele modeli), dogłębna znajomość specyfiki procesów funkcjonujących w banku (ocena procesu stosowania modeli) i odpowiednie umiejętności komunikacyjne (częsta interakcja z wieloma uczestnikami procesu zarządzania ryzykiem modeli).
16.9. Projektując strukturę zasobów komórki walidacji należy zapewnić płynną zastępowalność osób oddelegowanych do wykonywania określonych zadań.
16.10. W przypadku modeli zewnętrznych należy precyzyjnie określić zakres walidacji przypisany poszczególnym komórkom walidacji (lokalna lub grupowa/zewnętrzna), przy czym w przypadku przeprowadzania walidacji przez podmiot zewnętrzny, w ramach umów z dostawcą zewnętrznym, bank powinien dążyć do zagwarantowania sobie możliwości współdefiniowania zakresu walidacji tak, aby wszystkie istotne ryzyka zostały pokryte.
Techniki walidacji
17.
Rekomendacja 17
Rekomendacja 17
17.1. W procesie walidacji ilościowej powinny być odpowiednio wykorzystywane techniki i zasady badania stanowiące przedmiot rekomendacji 13.
17.2. Każdy model bazuje na określonych założeniach. Część z nich nie może być zmodyfikowana w ramach funkcjonowania określonej metody, gdyż stanowi jej integralną część (np. założenie co do typu rozkładu statystycznego czy metoda estymacji parametrów), natomiast inne wynikają z określonych decyzji eksperckich. Komórka walidacji powinna badać racjonalność i adekwatność tychże decyzji eksperckich w ramach oceny funkcjonowania danego modelu, a także weryfikować czy zastosowanie innej (alternatywnej) metody bazującej na odmiennych założeniach jest odpowiedniejsze do opisu badanego zjawiska.
17.3. Komórka walidacji powinna zweryfikować, czy w dokumentacji modelu zawarto informacje o ocenie zachowania modelu podczas niekorzystnych warunków rynkowych i powinna niezależnie zweryfikować przedstawione wyniki. Jest to równoznaczne z badaniem, czy relacje przyczynowo-skutkowe opisywane modelami są stabilne w różnych warunkach rynkowych.
17.4. Należy stosować różnorodne, komplementarne względem siebie techniki walidacji - np. zamiast mierzyć moc dyskryminacyjną kilkoma różnymi metodami, lepiej mierzyć tę moc jedną statystyką, ale użytą w różnych przekrojach:
- podpopulacji (np. branże),
- czasu (okres wzmożonego wzrostu i recesji),
- pojedynczych charakterystyk (stabilność),
- błędów oszacowań (przedziały ufności dla statystyk).
17.5. Komórka walidacji powinna badać czy oszacowania modeli są:
- prospektywne (uwzględniają oczekiwania co do kształtowania się przyszłości), czy też retrospektywne,
- statyczne, czy dynamiczne (nowe informacje wpływają na oszacowania modeli), jak również czy jest to w zgodności z wymaganiami odnośnie zasad funkcjonowania danego modelu.
17.6. Przy kluczowych z punktu widzenia ryzyka modelu komponentach modelu, zwłaszcza jeśli zwracają one nieintuicyjne wyniki, komórka walidacji powinna rozważyć dokonanie replikacji procesu budowy tych komponentów.
17.7. W procesie wnioskowania na podstawie wyników walidacji ilościowej należy każdorazowo pamiętać o następującej zasadzie: "mało obserwacji → niska moc testu statystycznego → mała skuteczność identyfikacji błędnego modelu → potencjalnie większy błąd estymowanej przez model wielkości lub relacji".
17.8. Modele prognostyczne, mające przewidywać przebieg określonego procesu w przyszłości kalibrowane są do danych historycznych. Komórka walidacji powinna badać, czy to założenie jest adekwatne w kontekście aktualnych warunków rynkowych.
17.9. Komórka walidacji powinna weryfikować, czy założenia modelu są bliskie rzeczywistości oraz czy brak pełnej przystawalności modelu do świata rzeczywistego nie objawia się niedoszacowaniem poziomu lub zmienności ryzyka. Podobnie powinna postępować w odniesieniu do faktu, czy wszystkie słabe strony modelu i ograniczenia zostały zidentyfikowane na etapie jego budowy. W sytuacji identyfikacji pogorszenia się jakości działania modelu komórka walidacji powinna starać się precyzyjnie określić przyczynę tego pogorszenia, tj. czy było ono uwarunkowane czynnikami zewnętrznymi względem modelu, czy też nastąpiła materializacja określonej kategorii ryzyka modelu związanej ze słabością konkretnego komponentu modelu.
Opracowano w:
Departamencie Inspekcji Bankowych, Instytucji Płatniczych
i Spółdzielczych Kas Oszczędnościowo-Kredytowych UKNF