Sprawozdanie specjalne nr 9/2007 dotyczące oceny realizowanych przez Unię Europejską programów ramowych badań i rozwoju technologicznego (BRT) oraz kwestii, czy można ulepszyć podejście przyjęte przez Komisję, wraz z odpowiedziami Komisji.
Dz.U.UE.C.2008.26.1
Akt nienormatywnydotyczące oceny realizowanych przez Unię Europejską programów ramowych badań i rozwoju technologicznego (BRT) oraz kwestii, czy można ulepszyć podejście przyjęte przez Komisję, wraz z odpowiedziami Komisji
(przedstawione na mocy art. 248 ust. 4 akapit drugi Traktatu WE)
(2008/C 26/01)
(Dz.U.UE C z dnia 30 stycznia 2008 r.)
STRESZCZENIE
I. Wspólnotowe programy ramowe (PR) BRT stanowią największe publiczne źródło finansowania badań naukowych w Unii Europejskiej. Komisja odpowiada za zarządzanie PR i ocenę ich rezultatów.
II. Przeprowadzona kontrola objęła rozwiązania w zakresie monitorowania i oceny stosowane od 1995 r. w trzech ostatnich okresach programowania (4PR, 5PR, 6PR); przeanalizowano też perspektywy w tym zakresie dla 7PR (2007-2013). Kontrolę przeprowadzono wraz z Komisją Obrachunkową EFTA oraz korzystając z pomocy ekspertów zewnętrznych.
III. Celem kontroli było uzyskanie odpowiedzi na pytanie, czy Komisja przyjęła odpowiednie podejście do oceny rezultatów PR. W tym kontekście Trybunał zbadał, czy Komisja spełnia wymogi prawne odnoszące się do oceny, i upewnił się, czy stosowany przez nią system oceny i monitorowania spełnia oczekiwania zainteresowanych stron. W szczególności Trybunał sformułował następujące pytania:
(i) czy w PR i programach je tworzących istnieje logika interwencji, która może stanowić solidną podstawę do przeprowadzenia oceny i monitorowania;
(ii) czy Komisja określiła strategię oceny PR;
(iii) czy struktura organizacyjna istniejącego w Komisji systemu oceny PR gwarantuje, że ocena jest właściwie skoordynowana, przeznaczane są na nią odpowiednie zasoby i jest postrzegana przez zainteresowane strony jako wystarczająco niezależna;
(iv) czy metodyka zastosowana w ramach oceny była zadowalająca; oraz
(v) czy dzięki działaniom podejmowanym w ramach oceny i monitorowania uzyskiwane są informacje i analizy, które mogą być wykorzystane do poprawy trwających programów i przygotowania przyszłych PR.
IV. Główne ustalenia i wnioski Trybunału są następujące:
(i) brak wyraźnej logiki interwencji, niedostatecznie określone cele programu i słaby pomiar wyników obniżyły skuteczność monitorowania i oceny;
(ii) brak kompleksowej strategii oceny PR, uzgodnionej przez "dyrekcje badawcze" Komisji wdrażające PR, doprowadził do niespójności w podejściu przyjmowanym przez poszczególne służby Komisji. Przejawia się to zwłaszcza w brakach w ocenie znacznych części PR;
(iii) ocena PR była zdecentralizowana, istniejące mechanizmy koordynacji działań poszczególnych DG wdrażających PR nie były skuteczne, a centralne służby Komisji nie narzucały stosownych rozwiązań. Jednak, ogólnie rzecz biorąc, "dyrekcje badawcze" spełniały formalne wymagania Komisji w zakresie oceny. Zastosowanie zespołów składających się z niezależnych ekspertów wysokiego szczebla, wyznaczanych przez Komisję do uczestnictwa w głównych procesach oceny, dobrze odpowiadało specyfice wspólnotowej. Te tymczasowe zespoły nie były jednak powołane na wystarczająco wczesnym etapie procesu, aby mogły wpłynąć na gromadzenie dowodów, a możliwość długoterminowego monitorowania istotnych kwestii była ograniczona. Powołując tylko jeden ogólny zespół dla każdego PR (oprócz zespołów dla poszczególnych programów szczegółowych), poświęcono niewystarczającą uwagę kwestiom związanym z różnymi dziedzinami naukowymi w ramach PR;
(iv) formułowano nieodpowiednie wytyczne metodologiczne, osoby oceniające miały trudności w gromadzeniu odpowiednich danych, a ponadto zabrakło opracowań oceniających, które dotyczyłyby długoterminowych wyników i oddziaływania PR, a nie tylko kwestii o krótkim zasięgu czasowym, związanych z wdrażaniem programów;
(v) w związku z powyższym, a także ponieważ termin przeprowadzenia ocen był często zbyt wczesny, by można było rozstrzygnąć najważniejsze kwestie, funkcjonujący w Komisji system oceny PR był w ograniczonym stopniu przydatny osobom odpowiedzialnym za kształtowanie polityki, zainteresowanym stronom lub nawet samej Komisji. Niewiele też wiadomo na temat osiągnięcia celów programów i rezultatów PR.
V. Trybunał formułuje następujące zalecenia:
(i) w przyszłych przepisach prawnych należy jaśniej określić logikę interwencji. Należy objaśnić podstawowe założenia, jasno określić związek między celami naukowymi a społeczno-gospodarczymi oraz opracować odpowiednie wskaźniki wykonania;
(ii) DG wdrażające PR powinny opracować (i uzgodnić między sobą) kompleksową strategię oceny. Powinna ona w szczególności obejmować spójne podejście co do minimalnego poziomu, od którego szczegółowa ocena staje się konieczna, tak aby można było uwzględnić specyfikę każdej dziedziny naukowej;
(iii) należy rozważyć stworzenie wspólnego biura oceny do celów koordynacji prowadzonych przez "dyrekcje badawcze" działań związanych z oceną PR jako całości oraz utworzenie systemu zespołów (oraz podzespołów) składających się z ekspertów zewnętrznych. Zespoły te należy utworzyć wystarczająco wcześnie, aby mogły udzielić skutecznego wsparcia Komisji, a także udzielać go później w trakcie całego okresu programowania i po jego zakończeniu;
(iv) należy odpowiednio zanalizować potrzeby w zakresie danych do celów oceny i monitorowania oraz intensywniej wykorzystywać inne istniejące źródła danych. Komisja powinna także zracjonalizować wymogi dotyczące sprawozdawczości obowiązujące uczestników. W końcu, powinna ona opracować kompleksowy podręcznik przeprowadzania ocen w ramach PR, poszerzyć metodykę oraz techniki dokonywania ocen w tej dziedzinie; oraz
(v) Komisja powinna określić rodzaj i zakres oceny możliwej do przeprowadzenia w terminach określonych w przepisach dotyczących 7PR, a także objaśnić, jak można wykorzystać wyniki ocen do korekty programów (programy "uczące się") i jaki wpływ mogą one mieć na podejmowanie decyzji dotyczących kształtu danej polityki.
WSTĘP
Rola Unii Europejskiej we wspieraniu działań BRT
1. Badania i rozwój technologiczny (BRT)(1) są główną siłą napędową postępu naukowego i technologicznego oraz innowacji, a w konsekwencji - ważnym czynnikiem poprawy standardu życia. Interwencja państwa w obszarze BRT jest przeważnie uzasadniana potrzebą korygowania tzw. "niedoskonałości rynku" - dzięki wsparciu publicznemu zmniejsza się element niepewności, dokonuje inwestycji w dziedzinach, w których badania stanowią dobro publiczne lub gdzie występują znaczne koszty zewnętrzne.
2. Artykuł 163 Traktatu WE następująco określa rolę Wspólnoty we wspieraniu BRT: "Wspólnota ma na celu wzmacnianie bazy naukowej i technologicznej przemysłu Wspólnoty i sprzyjanie zwiększaniu jego międzynarodowej konkurencyjności, przy jednoczesnym promowaniu działalności badawczej uznanej za niezbędną (...)". Artykuły 164-173 wymieniają działania, które będą podejmowane w tym obszarze, oraz określają zakres i metody wdrażania wieloletnich programów ramowych BRT (PR). Komisja jest odpowiedzialna za przedstawianie propozycji PR, podczas gdy decyzje dotyczące PR oraz zasady uczestnictwa i upowszechniania wyników badań są przyjmowane w drodze współdecyzji przez Parlament Europejski i Radę. Rada samodzielnie podejmuje decyzje przyjmujące poszczególne programy. PR są wdrażane wspólnie przez sześć dyrekcji generalnych Komisji (DG), tzw. dyrekcje badawcze(2).
3. W szerokim wachlarzu polityk realizowanych w Unii Europejskiej na rzecz wzmocnienia innowacyjności i konkurencyjności PR są najważniejszym finansowym instrumentem realizacji strategii lizbońskiej(3) i celu barcelońskiego(4) na szczeblu wspólnotowym.
Rysunek 1
Średni roczny wkład finansowy Wspólnoty - 4PR do 7PR (WE)
Notka Redakcji Systemu Informacji Prawnej LEX
Grafiki zostały zamieszczone wyłącznie w Internecie. Obejrzenie grafik podczas pracy z programem Lex wymaga dostępu do Internetu.
..................................................
4. Za pośrednictwem PR Wspólnota udziela finansowania badaczom w Unii Europejskiej, krajach stowarzyszonych i organizacjach międzynarodowych. Budżety PR wzrosły znacząco z biegiem lat: roczny budżet 7PR wynosi 7.217 mln euro, podczas gdy w 4PR wynosił 2.761 mln euro (zob. rysunek 1). Pod względem wielkości środków budżetowych PR stanowią największy obszar objęty bezpośrednim scentralizowanym zarządzaniem przez Komisję(5).
5. PR różnią się od wielu programów krajowych tym, że obejmują zarówno badania podstawowe, jak i stosowane, z udziałem branżowych i publicznych organizacji badawczych(6). Składają się na nie poszczególne programy (i podprogramy) obejmujące szeroko określone dziedziny naukowe. Programy te zwykle obejmują szereg bardziej zawężonych dziedzin naukowych. Działania w tych dziedzinach są następnie realizowane za pomocą projektów (tzw. działań pośrednich) wybieranych w drodze procedur konkursowych. W ten sposób w ramach poszczególnych dziedzin finansuje się setki indywidualnych projektów.
6. Całkowity udział PR w łącznych nakładach publicznych na BRT w Unii Europejskiej i jej państwach członkowskich waha się między 4 a 5 %. Niemniej jednak ich wpływ na to, jakie rodzaje działalności badawczej są prowadzone w Europie, jest znacznie większy. Jest tak, ponieważ dotacje wspólnotowe zazwyczaj stanowią jedynie część dofinansowania udzielanego na rzecz projektu. Ponadto, zgłaszając wniosek o dofinansowanie, badacze muszą wykazać, że ich projekty wpisują się w realizację celów określonych w ogłoszeniach o konkursie. W ten sposób PR zachęcają do ukierunkowania działalności BRT na realizację poszczególnych celów UE.
7. W ostatnich latach w PR wprowadzono znaczne zmiany, których przesłanki były następujące:
- nowe wyzwania polityczne (strategia lizbońska i cele barcelońskie, utworzenie Europejskiej Przestrzeni Badawczej (EPB) i coraz szersze wykorzystywanie otwartej metody koordynacji(7) w polityce badań naukowych i innowacji),
- zmiana orientacji PR, przejście od prostego rozwiązywania problemów technicznych w 4PR i problemów społecznych w 5PR, do promowania współpracy organizacji badawczych w ramach EPB i przyczyniania się do stworzenia społeczeństwa i gospodarki opartych na wiedzy - w ramach 6PR i 7PR,
- dłuższe okresy programowania (poprzednio 4-letnie, obecnie 7 lat w przypadku 7PR, odpowiadające okresowi perspektywy finansowej 2007-2013),
- więcej państw członkowskich i krajów uczestniczących,
- większe finansowanie, zwłaszcza w ramach obecnej perspektywy finansowej,
- utworzenie Europejskiej Rady ds. Badań Naukowych (ERC) oraz przekazywanie odpowiedzialności za zarządzanie programami agencjom wykonawczym rozpoczynającym działalność w ramach 7PR,
- coraz szersze wykorzystanie instrumentów finansowania na dużą skalę (np. sieci doskonałości, projekty zintegrowane, projekty z art. 169, wspólne inicjatywy technologiczne).
Ocena i monitorowanie PR
8. Komisja jest odpowiedzialna za wdrażanie programów i ocenę ich rezultatów(8). W samej Komisji za przeprowadzenie oceny odpowiadają poszczególne dyrekcje generalne, a centrala zapewnia wsparcie i koordynację (w szczególności DG ds. Budżetu i Sekretariat Generalny).
9. W niniejszym sprawozdaniu wykorzystujemy definicje własne Komisji: ocena - "ocena działań na podstawie ich rezultatów, oddziaływania i potrzeb, które mają za zadanie zaspokoić"(9); monitorowanie - dostarczanie informacji na temat wdrażania trwających programów i projektów na potrzeby zarządzania(10). W taki sposób te dwa rodzaje działań są także rozróżnione w przepisach regulujących obecny 7PR.
10. Opisując rezultaty działań BRT, zastosowano tu następującą terminologię:
- "produkty" - to wiedza, towary i usługi powstałe bezpośrednio w wyniku przeprowadzenia danej interwencji publicznej (publikacje, materiały konferencyjne, patenty, licencje, prototypy, normy, przeszkolenie naukowców itp.),
- "wyniki" - to późniejsze rezultaty faktu wykorzystania produktów przez użytkowników,
- "oddziaływanie" - to długoterminowe zmiany społeczno-ekonomiczne i polityczne, które nastąpiły w wyniku przeprowadzenia danej interwencji publicznej.
| Ramka 1 Przykład systemu GSM (Global System for Mobile communications) W tym przykładzie "produkty" finansowania wspólnotowego stanowiły natychmiastowe rezultaty projektu, takie jak opracowanie standardu GSM. "Wynikiem" było jego przyjęcie za standard cyfrowej telefonii komórkowej w Europie i poza nią, co znacznie przyczyniło się do rozwoju branży telekomunikacyjnej. "Oddziaływaniem" były gospodarcze, społeczne i polityczne konsekwencje międzynarodowego wykorzystania tej technologii. Objęły one wpływ na utworzenie nowych miejsc pracy w branży telekomunikacyjnej i w branżach pokrewnych, a także wzrost znaczenia tego sektora przemysłu w gospodarce europejskiej. System GSM zaoferował także ludziom nowy sposób komunikacji. |
11. Ocena tych rezultatów nastręcza jednak szereg problemów metodologicznych (zob. załącznik I). Zmiany społeczno-gospodarcze są zjawiskiem złożonym, a w szczególności często trudno ustalić związek między działalnością badawczą a zaobserwowanymi wynikami i oddziaływaniem. Te metodologiczne trudności nie uniemożliwiają skutecznej oceny, chociaż dokonanie jej stanowi znaczne wyzwanie.
12. Komisja posiada system monitorowania i oceny PR od lat 80.(11). Od czasu jego wprowadzenia w połowie lat 90. - w 4PR - system monitorowania i oceny składał się z szeregu częściowo powiązanych działań, takich jak:
- monitorowanie roczne (głównie odnoszące się do wdrożenia programu),
- oceny pięcioletnie działań prowadzonych w ramach PR (oraz, od 6PR, dodatkowe oceny kwestii szczegółowych).
Oba te działania musiały być realizowane z pomocą ekspertów zewnętrznych (zob. rysunek 2 i załącznik II).
Rysunek 2
4PR do 7PR - Główne wymogi w zakresie monitorowania i oceny
| 4PR (1995-1998) | 5PR (1999-2002) | 6PR (2003-2006) | 7PR (2007-2013) |
| Dwie oceny (śródokresowa i końcowa), każda obejmowała 20 podprogramów plus PR; ocena końcowa 4PR i ocena śródokresowa 5PR zachodzą na siebie | Dwie równoległe oceny (śródokresowe), każda obejmowała 7 programów szczegółowych plus PR | Jedna ocena obejmująca PR i jego trzy programy szczegółowe (śródokresowa), ale nie wszystkie 20 podprogramów, uzupełniona oceną szczegółową i regularnymi sprawozdaniami okresowymi (tj. monitorującymi) | Co najmniej pięć ocen (ex ante, śródokresowych i końcowych) w tym specjalne sprawozdanie(-a) okresowe przed oceną śródokresową |
| 1. Ocena ex ante: nie 2. Ocena śródokresowa: - ocena pięcioletnia: w połowie PR, przed kolejnym PR (1997) 3. Ocena końcowa: - po zakończeniu PR (1999) | 1. Ocena ex ante: nie 2. Ocena śródokresowa: - ocena pięcioletnia: przed przedstawieniem propozycji kolejnego PR (2000) - przegląd realizacji PR w połowie okresu (2001) 3. Ocena końcowa: nie | 1. Ocena ex ante: nie 2. Ocena śródokresowa: - ocena skuteczności instrumentów (2004) - ocena pięcioletnia, przed przedstawieniem propozycji kolejnego PR (2004) - regularne sprawozdania okresowe (tj. monitorujące) 3. Ocena końcowa: nie (zmieniona decyzją dotyczącą 7PR) | 1. Ocena ex ante: włączona do dokumentu pt. "Ocena oddziaływania wniosku Komisji dotyczącego 7PR" (2005) 2. Ocena śródokresowa: - ex post, 2 lata po zakończeniu poprzedniego PR (2008) - sprawozdanie okresowe przed oceną śródokresową (przed 2010) - ocena śródokresowa (2010) 3. Ocena końcowa: dwa lata po zakończeniu PR (2015), oparta na sprawozdaniach oceniających, ocenie śródokresowej i innych działaniach oceniających prowadzonych w trakcie całego okresu realizacji PR |
13. Do chwili obecnej przeprowadzono trzy oceny pięcioletnie(12), których owocem były sprawozdania Davignona, Majó i Ormali (opublikowane odpowiednio w latach 1997, 2000 i 2004). Ponadto DG ds. Społeczeństwa Informacyjnego i Mediów przeprowadziła oceny tematyczne prowadzonego przez siebie programu szczegółowego. Należy odnotować, że pięcioletnich ocen zaprzestano w 7PR, tym samym usuwając ograniczenie polegające na tym, że główne procesy oceny musiały się koncentrować na minionych pięciu latach i w rezultacie obejmować części dwóch następujących po sobie okresów programowania. W 2004 r. opublikowano także "sprawozdanie Marimóna"(13) - ocenę szczegółową skuteczności nowych instrumentów wprowadzonych w 6PR.
14. W latach 2000 i 2002 dokonano przeglądu stosowanych przez Komisję ram oceny (14). Opublikowane w związku z tym przeglądem komunikaty zaktualizowano w 2007 r., aby uwzględnić skutki reformy administracyjnej Komisji oraz nowe rozporządzenie finansowe(15). W dokumentach tych przedstawiona jest rola i funkcja oceny w kontekście prowadzonego przez Komisję ogólnego cyklu planowania, programowania i sprawozdawczości; dokumenty te określają także 21 standardów przeprowadzania ocen i 18 modeli "dobrych praktyk". Ponadto przedstawiono w nich wykorzystanie oceny w procesie przygotowywania i uproszczenia prawodawstwa UE.
ZAKRES KONTROLI I PODEJŚCIE KONTROLNE
| 15. Głównym celem kontroli było ustalenie, czy Komisja przyjęła odpowiednie podejście do oceny rezultatów programów ramowych BRT. |
16. W szczególności Trybunał zbadał, w jakim stopniu:
- istnieje jasna logika interwencji w PR i programach je tworzących, w odniesieniu do której można zmierzyć i ocenić ich produkty, wyniki i oddziaływanie i która może stanowić solidną podstawę oceny i monitorowania, określono strategię oceny PR sprzyjającą skutecznej i spójnej ocenie, struktura organizacyjna systemu oceny gwarantuje, że ocena PR jest właściwie skoordynowana, przeznaczane są na nią odpowiednie zasoby i jest postrzegana przez zainteresowane strony jako wystarczająco niezależna,
- metodyka stosowana do celów oceny gwarantuje właściwe podejście do istotnych kwestii, dzięki czemu ocena jest postrzegana jako wiarygodna, oraz
- dzięki działaniom podejmowanym w ramach oceny i monitorowania uzyskiwane są informacje i analizy, które mogą być wykorzystane do poprawy trwających programów (programy "uczące się") i przygotowania przyszłych PR.
17. Niniejsze sprawozdanie dotyczy rozwiązań zastosowanych do 4PR (1995-1998), 5PR (1999-2002) oraz 6PR (2003-2006). Omówiono także wymogi prawne obecnie obowiązujące w ramach 7PR (2007-2013), ale nie przedstawiono oceny odnoszącej się do sporządzonej przez Komisję oceny wpływu i oceny ex ante 7PR(16). Sprawozdanie koncentruje się na monitorowaniu i ocenie ex post programów, a nie na ocenie ex ante wniosków projektowych czy ocenie ex post samych projektów.
18. Kontrolę przeprowadzono z udziałem Komisji Obrachunkowej EFTA oraz korzystając z pomocy ekspertów zewnętrznych. Dowody kontroli uzyskano w następujący sposób:
- prowadząc prace kontrolne w Komisji (przegląd dokumentacji oraz rozmowy w personelem), obejmujące identyfikację wymogów prawnych, przegląd celów i kryteriów wyników, analizę ponad 80 sprawozdań monitorujących i sprawozdań z oceny oraz analizę organizacji działań podejmowanych przez Komisję w ramach oceny,
- przeprowadzając rozmowy z ponad 90 ekspertami zidentyfikowanymi jako zainteresowane strony w państwach członkowskich i krajach stowarzyszonych (Republika Czeska, Niemcy, Estonia, Hiszpania, Francja, Włochy, Luksemburg, Niderlandy, Austria, Finlandia, Szwecja, Zjednoczone Królestwo i Norwegia),
- poprzez ankiety wśród zainteresowanych instytucji: w Komisji ITRE(17) Parlamentu Europejskiego oraz w Komitecie CREST(18) Rady,
- prowadząc konsultacje z ponad 65 ekspertami w dziedzinie oceny badań w USA i Kanadzie jako międzynarodową grupą porównawczą,
- dokonując przeglądu literatury akademickiej na temat aktualnych trendów w ocenie badań, oraz
- omawiając ustalenia, wnioski i zalecenia kontroli z ekspertami z Europy i Ameryki Północnej w dziedzinie oceny badań podczas zogniskowanych wywiadów grupowych z udziałem moderatora w lutym 2007 r.
UWAGI POKONTROLNE
Logika interwencji, wyznaczanie celów i wskaźniki wykonania
19. Skuteczna ocena i monitoring wymagają określenia jasnych celów i odpowiednich wskaźników wykonania na poziomie polityki, programu i projektu, poprzez odniesienie do których można ocenić rezultaty interwencji publicznej. Dobre praktyki w innych dziedzinach budżetowych UE oraz w innych obszarach wskazują, że te cele i wskaźniki powinny być określone w ramach logiki interwencji.
20. Logikę interwencji można zdefiniować jako zespół hipotetycznych powiązań przyczynowo-skutkowych, które opisują, w jaki sposób mają zostać osiągnięte ogólne cele interwencji(19). W wytycznych Komisji dotyczących oceny stwierdza się, że logika interwencji stanowi "ogniwo koncepcyjne łączące wkład interwencji z jej produktami, następnie jej oddziaływaniem społecznym poprzez jej rezultaty i wyniki"(20). W niniejszym sprawozdaniu korzystano z powyższej definicji.
21. Trybunał zbadał, w jakim stopniu w PR i programach je tworzących istniała logika interwencji, stanowiąca solidną podstawę do przeprowadzenia oceny i monitoringu.
Logika interwencji w PR nie była jasna
22. Określenie logiki interwencji powinno być od samego początku kluczowym elementem koncepcji programu. Artykuł 163 Traktatu, w którym mowa jest o potrzebie wzmocnienia podstaw naukowych i technologicznych i zwiększenia konkurencyjności, powinien być punktem wyjścia do opracowania logiki interwencji dla PR (zob. pkt 2). Tę kwestię należy określić bardziej szczegółowo w odniesieniu do różnych dziedzin naukowych objętych PR i różnych wykorzystywanych instrumentów.
23. Niemniej jednak na wszystkich poziomach brakuje jasnego modelu logicznego przedstawiającego, w jaki sposób PR i tworzące jej programy przyczyniają się do postępu naukowo-technicznego i do zwiększania innowacyjności.
24. Brak logiki interwencji w PR został także podkreślony przez zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r., który stwierdził, co następuje: "(...) od zespołów takich jak nasz oczekuje się, że wypełnią lukę między, z jednej strony, dowodami zgromadzonymi głównie na poziomie projektów, a z drugiej strony, ogólnymi społeczno-gospodarczymi celami polityki badań naukowych. Jednak obecnie trudno jest o stworzenie takiego powiązania z uwagi na sposób planowania PR. Brakuje w nim jasnych powiązań logicznych między najbardziej ogólnymi celami a szczegółowymi celami w zakresie badań naukowych i zdobywania wiedzy"(21).
25. Inne podejście przyjęły niektóre państwa członkowskie (np. Niderlandy i Finlandia) oraz USA (zob. rysunek 3), gdzie określanie logiki interwencji jest o wiele bardziej rozpowszechnioną praktyką, a także Kanada, gdzie jest ono obowiązkowym elementem programów (zob. załącznik III). Uwzględnianie przez te państwa logiki interwencji w koncepcji programów poprawia ich ukierunkowanie i strukturę. Komisja wprowadza także logikę interwencji w innych obszarach polityki Wspólnoty (np. w zakresie pomocy zewnętrznej)(22).
Rysunek 3
Określenie hierarchii celów na podstawie modeli logicznych - na przykładzie prowadzonych w USA badań naukowych w dziedzinie rolnictwa
| Polityka | Programm | Projekt |
| Cel polityki: przyczynić się do poprawy poziomu życia rodzin rolniczych | ||
| Cel: zwiększyć produkcję rolną, produktywność i dochody gospodarstw rolnych | Cel programu: przyczynić się do zwiększenia produkcji rolnej, produktywności i dochodów gospodarstw rolnych | |
| Oczekiwany rezultat: zwiększenie wykorzystania nowoczesnych technik rolniczych wśród rolników objętych interwencją | Cel: zwiększenie wykorzystania nowoczesnych technik rolniczych wśród rolników (np. w sektorze ryżu) | Cel projektu: przyczynić się do zwiększenia stopnia wykorzystania zalecanych nowoczesnych technik |
| Oczekiwany rezultat: przedstawienie rolnikom objętym interwencją zaleceń | Cel: przedstawienie zaleceń dotyczących nowoczesnych technik, które byłyby przydatne rolnikom objętym interwencją | |
| Żródło: Narodowa Rada Badań Rolniczych USA (US National Agricultural Research Council). | Oczekiwany rezultat (np.): 1. określenie technik na podstawie priorytetów zgłoszonych przez rolników 2. opracowanie i dostosowanie technik 3. zweryfikowanie technik w praktyce na gruntach rolników | |
26. Nieprzedstawienie przesłanek podjęcia interwencji publicznej oraz zakładanych powiązań przyczynowo-skutkowych (według których program jest następnie szczegółowo planowany, realizowany i oceniany) obniża skuteczność oceny i monitorowania PR. Problem ten wynika w głównej mierze ze sposobu określania celów programu oraz wskaźników wykonania.
Brak jasnego modelu logicznego utrudnia określenie spójnych celów programu
27. Nieprzedstawienie w sposób jasny przesłanek podjęcia interwencji publicznej utrudnia spójne określenie i ustrukturyzowanie celów programu. Stwierdzenie to ilustrują następujące fakty:
- nie jest jasne, w jaki sposób cele programów w PR łączą się z celami polityki, takimi jak ogólny cel zapisany w art. 163 Traktatu, cele zawarte w strategii lizbońskiej oraz deklaracji barcelońskiej (zob. pkt 2 i 7),
- związek między celami poszczególnych programów, zarówno na różnych poziomach legislacyjnych (takich jak decyzje dotyczące PR oraz decyzje dotyczące programów szczegółowych i zasady uczestnictwa i upowszechniania wyników badań), jak i między podstawowymi aktami i programami prac Komisji, nie zawsze jest widoczny.
28. Komisja próbowała określić cele operacyjne w programach prac na podstawie celów programów, które zostały zdefiniowane w aktach prawnych dotyczących PR. Jednak prawie w żadnym przypadku inicjatywy te nie doprowadziły do objaśnienia logiki leżącej u podstaw programów, a cele określone w programach prac nie były zdefiniowane, mierzalne, osiągalne, odpowiednie i określone w czasie. Tymczasem w 2003 r. stało się to wymogiem prawnym na mocy rozporządzenia finansowego(23).
29. Niejasne jest, w jakim stopniu można prześledzić cele polityki poprzez poziom programów szczegółowych, programów prac i procedur konkursowych, aż do poszczególnych projektów współfinansowanych przez Wspólnotę. Jeżeli te powiązania nie staną się jasne, nie będzie można ocenić wkładu PR i programów je tworzących w osiągnięcie tych celów polityki. W wyniku kontroli ustalono, że w swoich ocenach Komisja przedstawiła niewiele lub nie przedstawiła żadnych przekonywających dowodów na osiągnięcie długoterminowych celów, zarówno na poziomie projektów, jak i programów (zob. pkt 82).
Brak jasnej logiki interwencji i jasnych celów utrudnia opracowanie wskaźników wykonania
30. Brak jasnego modelu logicznego oraz wyraźnie nakreślonych celów programów utrudnił także opracowanie wskaźników wykonania wykorzystywanych do monitorowania osiągnięcia celów programu w zakresie jego produktów, wyników i oddziaływania, i to do tego stopnia, że do chwili obecnej nie opracowano żadnych takich wskaźników "skuteczności" dla programów ramowych (zob. pkt 73).
31. W tej sytuacji przegląd trwających projektów finansowanych w ramach tych programów oraz ocena ex post zakończonych projektów są także utrudnione, co zwiększa trudności w agregowaniu ocen z poziomu poszczególnych projektów na poziomie programu (zob. załącznik I oraz pkt 84).
ABB/ABM w postaci obecnie wdrożonej stanowi nieodpowiedni instrument pomiaru wyników PR
32. Niektóre wskaźniki, które monitorują wydajność wdrażania programu (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność), znajdują się w rocznych sprawozdaniach monitorujących Komisji, a także w kontekście systemu zarządzania zadaniowego (ABM) Komisji.
33. Jednakże do tej pory "dyrekcje badawcze", nawet wdrażając ten sam program szczegółowy (lub podprogram), nie stosują ustandaryzowanej lub porównywalnej nomenklatury budżetu zadaniowego (ABB) i związanych z nią wskaźników. Z tego względu wskaźników tych nie można wykorzystać do porównania wyników programów, a także wyników w ramach tego samego programu.
| Ramka 2 ABB/ABM obecnie funkcjonujący w "dyrekcjach badawczych" W systemie ABB/ABM, programy ramowe są objęte dwoma różnymi obszarami polityki, w których działania podejmowane w ramach PR są przedstawiane z zastosowaniem różnej nomenklatury specyficznej dla danej DG(24). Dzieje się tak również w tych szczegółowych programach i podprogramach, które są wdrażane przez więcej niż jedną DG. Cele ABM zostały określone na podstawie różnych zasad(25) i, jak wskazała to Służba Audytu Wewnętrznego Komisji(26), były przeważnie sformułowane w sposób ogólny i opisywały aspiracje lub działania. Wskaźniki na ogół odnosiły się do wkładu (np. liczba spotkań itp.). Niektóre dotyczyły wydajności (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność), ale nie były porównywalne między programami i poszczególnymi DG z uwagi na różnice w nomenklaturze ABB, w uregulowaniach specyficznych dla poszczególnych DG (takich jak rozpoczęcie i zakończenie określonych procedur administracyjnych) oraz w populacji (np. rodzaj umowy dotacji, rodzaj płatności), która została wykorzystana do ich obliczenia. |
Zalecenia
34. W przyszłych wnioskach legislacyjnych kierowanych do Rady i Parlamentu Europejskiego Komisja powinna określać jasną logikę interwencji dla PR jako całości oraz dla jego części składowych.
35. Odnośnie do 7PR, Komisja powinna:
- jasno przedstawić cele PR i tworzących je programów szczegółowych (i podprogramów) oraz sposoby ich osiągnięcia,
- wyjaśnić powiązanie między naukowymi oraz społeczno-gospodarczymi celami każdego programu szczegółowego (i podprogramu), oraz
- określić odpowiednie cele operacyjne.
36. Do celów swojego systemu monitorowania 7PR Komisja powinna opracować ograniczony liczbowo, acz wyważony, zestaw wskaźników wykonania mierzących "wydajność" i "skuteczność" wdrożenia w odniesieniu do każdego programu szczegółowego (i podprogramu).
37. "Dyrekcje badawcze" powinny zharmonizować swoją nomenklaturę ABM/ABB, aby umożliwić porównywalność wskaźników wykonania zarówno w czasie, jak i, w miarę możliwości, między programami szczegółowymi (i podprogramami).
Strategia oceny
38. Strategia oceny stanowi ramy koncepcyjne służące do opracowania założeń, planowania, realizacji i wykorzystania działań związanych z oceną. Dobre praktyki w innych dziedzinach budżetowych UE oraz w innych obszarach wskazują, że taka strategia powinna uwzględniać najważniejsze prawne, organizacyjne i metodologiczne aspekty związane z oceną programu. Dotyczą one następujących kwestii: jakie oceny należy przeprowadzić, kto i kiedy je przeprowadzi, jak będą gromadzone dane, jakie zostanie przyjęte podejście metodologiczne oraz w jaki sposób będą przedstawione ustalenia i jak będzie wyglądać monitorowanie działań następczych.
39. Stworzenie takiej strategii i zagwarantowanie jej realizacji warunkuje włączenie oceny w kulturę organizacyjną i proces podejmowania decyzji w Komisji. Trybunał uznaje jednak, że z uwagi na różnorodność dziedzin naukowych objętych PR strategia taka powinna pozostawiać zaangażowanym DG odpowiedni margines swobody i nie powinna być nazbyt sztywno określona.
40. Trybunał zbadał, w jakim stopniu Komisja dysponowała taką strategią oceny PR.
Brak kompleksowej strategii oceny PR
41. Komisja ogłosiła po raz pierwszy swoje podejście do oceny PR w latach 80.(27). Zostało ono zaktualizowane w 1996 r., kiedy to Komisja poinformowała Parlament Europejski i Radę o odpowiednich w jej opinii zasadach monitorowania i oceny oraz określiła planowane podejście w tym zakresie, które zamierzała stosować w następstwie przyjęcia 4PR(28). Nie była to jednak kompleksowa strategia oceny, opisana powyżej (zob. pkt 38 i 39). Ponadto od 1996 r. do 2006 r. Komisja nie zrewidowała zasadniczo swojego podejścia do oceny 5PR i 6PR, pomimo że programy ramowe zmieniły się zarówno pod względem swojego zakresu, jak i orientacji (zob. pkt 7). W szczególności "dyrekcje badawcze" nie uzgodniły spójnego podejścia do oceny PR i tworzących je programów, wykraczającego poza wymogi prawne przyjęte w 1999 r. (dla 5PR), w 2002 r. (dla 6PR) i 2006 r. (dla 7PR)(29).
42. W obecnym okresie programowania brak takiego strategicznego podejścia do oceny w tym obszarze stanowi szczególny problem ze względu na wspólne wdrażanie 7PR przez kilka DG, Europejską Radę ds. Badań Naukowych i agencje wykonawcze oraz obowiązkową rotację pracowników na "wrażliwych" stanowiskach, wprowadzoną przez rozporządzenie finansowe. Stoi to także w sprzeczności z obecną praktyką w zakresie pomocy zewnętrznej (która stanowi drugi co do wielkości obszar objęty zarządzaniem bezpośrednim przez Komisję). W tym obszarze właściwe DG od 2002 r. uzgodniły wspólne wieloletnie strategie oceny odnoszące się do okresów programowania (zob. pkt 52).
43. Ten brak jasno sformułowanej strategii oceny kontrastuje także silnie z sytuacją w USA i Kanadzie, gdzie ramy regulacyjne wymagają opracowania strategii (zob. załącznik III).
44. Jak przedstawiono poniżej, w zakresie i intensywności oceny poszczególnych PR występują znaczące różnice. Występowały też inne problemy, omawiane w dalszej części niniejszego sprawozdania, takie jak problemy w zakresie koordynacji, różnice w podejściach metodologicznych, problemy związane z terminarzem, niedociągnięcia w zakresie komunikacji i monitorowania działań podejmowanych w związku z ustaleniami poczynionymi w ramach oceny. Wynikają one z braku kompleksowej strategii oceny PR.
Różnice między PR w zakresie i intensywności oceny
45. PR składają się z szeregu programów szczegółowych (i podprogramów), które mogą znacząco się różnić pod względem swojego celu, dynamiki i przyznanych środków budżetowych (informacje nt. 7PR, zob. załącznik IV). Z całości przepisów różnych decyzji dotyczących PR oraz rozporządzenia finansowego(30) (które wymaga oceny programów i działań wiążących się ze znacznymi wydatkami) wynika, że prawny wymóg oceny zarówno PR jako całości, jak i większości tworzących je programów szczegółowych, istnieje od 4PR.
46. Komisja nie wprowadziła zasady określającej, kiedy programy szczegółowe PR lub podprogramy mają być oceniane, ani nie wprowadziła wspólnego progu, powyżej którego taka ocena musi być przeprowadzana. Doprowadziło to do niespójnych interpretacji dotyczących tego, co podlega ocenie i na jakim poziomie szczegółowości:
- DG ds. Społeczeństwa Informacyjnego i Mediów zaliczyła program IST do grupy głównych programów wydatkowania i zorganizowała jego pełną pięcioletnią ocenę w 2004 r., równolegle do oceny prowadzonej dla PR jako całości,
- DG ds. Badań Naukowych nie organizowała systematycznie takiej oceny na poziomie programów szczegółowych, pomimo że budżety kilku programów, za które odpowiadała, były podobnej wielkości co program IST.
47. W rezultacie, jeżeli chodzi o ocenę pięcioletnią przeprowadzoną w roku 2004, znaczne części 4PR i 5PR (odpowiadające 30 % wszystkich środków budżetowych na 4PR i 50 % na 5PR) nie zostały w ogóle objęte oceną. Oznacza to, że Komisja nie wypełniła wymogów oceny określonych w art. 27 rozporządzenia finansowego.
48. Te rozbieżne interpretacje minimalnych wymogów prawnych odnoszących się do oceny, a także będąca ich wynikiem niepełna ocena PR w przeszłości, ilustrują brak koordynacji i konsekwencje braku podejścia strategicznego Komisji do oceny PR.
Zalecenia
| 49. "Dyrekcje badawcze" powinny niezwłocznie opracować i uzgodnić wspólną strategię oceny PR. Unikając zbyt sztywnych uregulowań, strategia ta powinna pociągać za sobą spójnepodejście do oceny PR i tworzących je programów. Powinna ona także wskazywać próg, od którego zachodzi konieczność szczegółowej oceny, z uwzględnieniem specyfiki poszczególnych dziedzin naukowych. |
Organizacja oceny PR
50. Ocena PR powinna być przeprowadzana z wykorzystaniem odpowiednich rozwiązań organizacyjnych, które powinny wynikać ze strategicznego podejścia Komisji do oceny PR. Trybunał zbadał, w jakim stopniu struktura organizacyjna gwarantuje, że system oceny jest właściwie skoordynowany, przeznaczane są na niego odpowiednie zasoby i jest postrzegany przez zainteresowane strony jako wystarczająco niezależny.
Komisja
PR są wdrażane wspólnie przez kilka DG, a odpowiedzialność za przeprowadzenie oceny jest zdecentralizowana
51. W ramach Komisji odpowiedzialność za dokonanie oceny programów wydatkowania spoczywa na poszczególnych DG (zob. pkt 8), a w każdej DG utworzono działy zajmujące się oceną. Działy te odpowiadają za planowanie, koordynację i przeprowadzanie ocen.
52. Brak specjalnego organu koordynującego lub oddzielnej jednostki ds. oceny PR jako całości, jak np. wspólnego biura oceny dla "dyrekcji badawczych" pozostaje w sprzeczności z praktyką w innych obszarach polityki. W obszarze pomocy zewnętrznej utworzono wspólny dział ds. oceny dla trzech DG (DG ds. Rozwoju, DG ds. Stosunków Zewnętrznych i EuropeAid), odpowiadający za ocenę programów rozwojowych Komisji w państwach trzecich (zob. pkt 42).
53. DG ds. Badań Naukowych, poprzez wewnętrzną "sieć oceny BRT" Komisji, zapewnia wymianę wiedzy między działami ds. oceny w różnych DG, ale nie ma kompetencji do ustanowienia minimalnych wymogów odnoszących się do oceny. Mechanizm ten okazał się niewystarczający do zapewnienia odpowiedniej koordynacji oceny PR dokonywanej przez Komisję.
54. Komisja zrewidowała swoje podejście ogólne do oceny w 2000 r. i 2002 r. oraz - po raz kolejny - w 2007 r. (zob. pkt 14). Chociaż nie zaobserwowano znaczącej poprawy sposobu, w jaki oceny PR i tworzących je programów są planowane, opracowywane i realizowane, "dyrekcje badawcze" ogólnie spełniają wymogi formalne ustalone dla całej Komisji.
Służby centralne Komisji: ustalanie standardów, ale bez narzucania stosownych rozwiązań
55. Służby centralne Komisji (w szczególności DG ds. Budżetu oraz Sekretariat Generalny) zapewniają doradztwo metodologiczne, określają wspólne standardy w ramach Komisji jako całości i monitorują przestrzeganie tych standardów przez poszczególne DG i służby (patrz pkt 14 i 70). Nie mogą jednak narzucać sposobu przeprowadzania ocen w praktyce.
56. Doświadczenia USA i Kanady pokazują, że egzekwowanie standardów przez jednostki je ustanawiające jest kluczowe dla zapewnienia sprawnego funkcjonowania systemu oceny. W obu wymienionych krajach departamenty federalne opracowują i wdrażają strukturę, w ramach której dokonywana jest ostateczna ocena powodzenia danego programu (zob. załącznik III). Chociaż kontekst jest inny, ich systemy są oparte na tej samej zasadzie, głoszącej, że organ niezależny od organu wdrażającego program powinien ocenić strukturę systemu oceny na pewnym poziomie szczegółowości i zbadać jego skuteczność. To samo można zaobserwować w niektórych państwach członkowskich (np. we Francji(31), Hiszpanii(32) i Niemczech(33)), gdzie organy zewnętrzne nadzorują oceny przeprowadzane przez agencje finansujące lub nawet przeprowadzają te oceny samodzielnie.
Zespoły
Zespoły ekspertów zewnętrznych: wymagane przepisami od czasu 4PR
57. Od czasu 4PR wszystkie główne procesy oceny (i coroczne monitorowanie) PR muszą być przeprowadzane przez zespoły ekspertów zewnętrznych (lub z ich pomocą) (zob. załącznik II). Pomimo trudności ze znalezieniem odpowiednich ekspertów, takie zespoły mają potencjał pozwalający na zapewnienie przejrzystości, pewnego stopnia niezależności, ułatwienie zaangażowania zainteresowanych stron i wykorzystanie wiedzy o samych PR, ocenie i związanych z nimi zagadnieniach naukowych.
58. Potwierdziły to ankiety Trybunału, których respondenci uznali, że działający w Komisji system oceny oparty na pracy zespołów stanowi gwarancję niezależności (zob. rysunek 4).
Rysunek 4
Opinie zainteresowanych instytucji - Niezależność systemu oceny opartego na pracy zespołów
Słabe strony przyjętego przez Komisję podejścia zakładającego pracę zespołów
59. Pomimo tego pozytywnego wizerunku, zgodnie z uwagami członków zespołów i zainteresowanych stron przekazanymi Trybunałowi podczas kontroli, w wykorzystaniu przez Komisję zespołów do oceny PR występowały następujące niedociągnięcia:
- zespoły ds. oceny są zwykle powoływane na krócej niż rok przed terminem wydania przez nie sprawozdania i odbywają niewiele posiedzeń. Utrudnia to członkom zespołów wpływ na określenie danych i analiz, które są im niezbędne do pracy. Ponadto, jako że zespoły te są powoływane ad hoc i mają charakter tymczasowy, zgromadzenie wiedzy na temat programów jest utrudnione, a monitorowanie istotnych kwestii w dłuższym okresie jest niemożliwe. Stanowi to szczególny problem, gdy (jak ma to miejsce w 7PR) w danym okresie programowania zaplanowany jest szereg procesów oceny (zob. załącznik II). Kontrastuje to także z praktyką Komisji w zakresie eksperckich grup doradczych przy PR, które mają charakter stały(34). Również w Kanadzie(35) istnieją stałe zespoły ds. oceny, co ma na celu zagwarantowanie spójności i konsekwencji przyjętego podejścia (zob. załącznik III),
- opracowując zakresy zadań i obowiązków dla zespołów oraz formułując pytania, na które ocena ma udzielić odpowiedzi, Komisja nie konsultuje się z zewnętrznymi zainteresowanymi stronami, takimi jak organizacje branżowe i najważniejsze organizacje badawcze uczestniczące w PR. Zespół monitorujący z 2004 r. także zwrócił uwagę na ten problem: "(...) potencjalni użytkownicy powinni być zaangażowani w proces na jego wczesnym etapie"(36), oraz
- zespoły funkcjonują w sposób różniący się od "oceny partnerskiej". Ich członkowie nie mają czasu na samodzielne przeprowadzanie ocen; zwykle formułują rady na podstawie danych i dowodów udostępnionych im z innych źródeł. W rezultacie ograniczeń czasowych zespoły miały jedynie niewielkie możliwości zlecania dodatkowych badań niezbędnych do rozważenia kwestii wymienionych w ich zakresie zadań i obowiązków. W praktyce, z nielicznymi wyjątkami, zespoły ds. oceny pięcioletniej miały do dyspozycji tyko informacje udostępnione przez Komisję.
Zasoby
Na ocenę PR nie przeznaczono oddzielnych zasobów
60. Środki na ocenę są udostępniane co roku, a ich wysokość zależy od zapotrzebowania zgłoszonego przez DG wdrażające PR. Obecnie środki te pochodzą ze środków ogólnych Komisji udostępnionych przez DG ds. Budżetu oraz zasobów z administracyjnej części budżetu na poziomie poszczególnych dyrekcji. Ponadto określone działania finansowane są jako działania pośrednie z budżetu operacyjnego PR. Oznacza to, że nie ma kwoty oddzielnie przeznaczonej na ocenę.
61. Według szacunków za 2006 r. pracownicy zajmujący się oceną i zarządzaniem zadaniowym stanowili średnio około 1 % personelu całej Komisji(37). Odsetek pracowników zajmujących się monitorowaniem i oceną programów ramowych BRT w DG ds. Badań Naukowych oraz DG ds. Społeczeństwa Informacyjnego i Mediów wyniósł odpowiednio 1,2 % i 1,3 %. W przypadku DG ds. Badań Naukowych ponad dwie trzecie tych osób było jednak przydzielonych do departamentów zajmujących się programami operacyjnymi, a nie do działu ds. oceny, a ocena stanowiła jedynie jedno z wielu przydzielonych im zadań.
Finansowanie oceny PR niższe niż zalecane przez Komisję
62. Zasoby przeznaczane na ocenę można także wyrazić jako część procentową całkowitych środków budżetowych przyznanych na dany program. Dane uzyskane podczas kontroli wskazują, że w zakresie programów badawczych w państwach członkowskich UE finansowanie to waha się między 0,1 % a 2 %. Zgodnie z wytycznymi Komisji na ocenę programu należy przeznaczyć 0,5 % jego budżetu(38). Jednak w przypadku większych programów, w związku z korzyściami skali, może wystarczyć mniejsza część ich budżetu.
63. Z porównania danych Komisji na temat wydatków na ocenę w latach 2003-2005 ze środkami budżetowymi dla każdej dyrekcji generalnej wynika, że ogólna średnia wartość procentowa wynosi około 0,15 %, znacznie poniżej poziomu sugerowanego przez Komisję. Bardziej gruntowna analiza odnosząca się do 2006 r. wykazała, że w proporcji do powierzonych im środków DG ds. Społeczeństwa Informacyjnego i Mediów wydała na ocenę w przybliżeniu czterokrotnie więcej niż DG ds. Badań Naukowych. Ponadto, w DG ds. Badań Naukowych jedynie 0,7 % czasu pracy jednego urzędnika zatrudnionego w pełnym wymiarze godzin jest poświęcane na ocenę na jeden milion euro w rocznym budżecie. Dla porównania, w DG ds. Społeczeństwa Informacyjnego i Mediów wartość ta jest dwukrotnie większa.
64. Jak wykazano w niniejszym sprawozdaniu, dodatkowy wysiłek podejmowany przez DG ds. Społeczeństwa Informacyjnego i Mediów zaowocował większym zakresem oceny (zob. pkt 13 i 46) oraz, co ilustruje próba opracowań oceniających zbadanych przez Trybunał, wykorzystaniem metodyki lepiej dostosowanej do potrzeb w zakresie oceny (zob. pkt 84).
65. Z szacunku kosztów wykonanego przez Trybunał na podstawie danych Komisji wynika, że koszt systemu oceny opartego na propozycjach przedstawionych w niniejszym sprawozdaniu wynosiłby średnio poniżej 0,4 % środków budżetowych 7PR. Kwota ta objęłaby koszty zespołów, podzlecania opracowań, personelu zarówno wspólnego biura oceny jak i istniejących obecnie w poszczególnych DG działów ds. oceny, oraz różne inne koszty(39).
Zalecenia
66. "Dyrekcje badawcze" powinny rozważyć utworzenie wspólnego biura oceny obok istniejących w każdej DG działów ds. oceny. Zgodnie z obecną praktyką w innych obszarach polityki takie biuro mogłoby koordynować działania Komisji w zakresie oceny PR jako całości. Tworzenie takich wspólnych działów było w przeszłości rekomendowane DG wdrażającym PR(40) i może być jeszcze istotniejsze w przyszłości w związku z utworzeniem Europejskiej Rady ds. Badań Naukowych i przekazaniem uprawnień do wdrażania programów agencjom wykonawczym.
67. Zespoły ds. oceny powinny nadal być wykorzystywane przez Komisję, wspierając ją w działaniach prowadzonych w związku z oceną. Komisja powinna jednak rozważyć, w jaki sposób należy dostosować strukturę zespołów do ogólnej struktury programowej PR. Można by to osiągnąć poprzez powoływanie zespołów dla poszczególnych programów szczegółowych oraz, w odpowiednich przypadkach, podprogramów (zob. załącznik IV). Ponadto zespoły te należy utworzyć wystarczająco wcześnie, aby mogły udzielić skutecznego wsparcia Komisji, a także udzielać go później w trakcie całego okresu programowania i po jego zakończeniu.
68. Komisja powinna ponownie rozważyć, jakie zasoby należy przeznaczyć na ocenę PR i tworzących je programów.
Metodyka i techniki oceny
69. Skuteczna ocena wymaga zastosowania odpowiedniej metodyki i odpowiednich technik. Trybunał zbadał, czy istniały wytyczne przeprowadzania oceny PR, czy potrzeby informacyjne zostały właściwie i odpowiednim terminie zanalizowane oraz czy osobom oceniającym udostępniono odpowiednie dane. Opierając się na opracowaniach oceniających przygotowanych przez
Komisję (lub w imieniu Komisji), Trybunał sprawdził, czy techniki wykorzystywane w poszczególnych opracowaniach stanowiły wystarczającą podstawę do uzyskania odpowiedzi na pytania oceniające postawione na potrzeby ocen pięcioletnich. Rozważono także potencjalny wkład, który oceny dokonane na poziomie krajowym mogłyby wnieść w ocenę PR.
Wprowadzenie standardów i wytycznych dla poszczególnych PR
70. DG ds. Budżetu wydała szereg komunikatów określających jej politykę oceny i wymieniających zasady jej realizacji oraz ustanowiła zestaw standardów mających zastosowanie do całej Komisji (zob. pkt 14 i 55)(41). W innych obszarach polityki poszczególne DG opracowały też odpowiednie podręczniki oceny(42).
71. Nie jest tak jednak w przypadku PR. Istnieje szereg przewodników metodycznych oraz zestawów narzędzi do przeprowadzania działań związanych z oceną w dziedzinie badań naukowych, które opublikowała (lub finansowała) Komisja(43). Jednak żadne z nich nie są źródłem szczegółowych wytycznych dotyczących przeprowadzania ocen PR ani nie określają sposobu stosowania przez Komisję lub ekspertów zewnętrznych kluczowych pojęć lub terminologii. Przyczyniło się to problemów omówionych poniżej.
Potrzeby w zakresie danych oraz gromadzenie danych
Niewystarczająca analiza potrzeb informacyjnych
72. "Dyrekcje badawcze" przywiązywały niewystarczającą wagę do określenia, jakie dane są wymagane do celów oceny i monitorowania. Zamiast przeprowadzić systematyczną i kompleksową analizę potrzeb informacyjnych, Komisja określiła wymogi w zakresie danych na późnym etapie okresu programowania i bez należytego uwzględnienia ogólnych potrzeb w zakresie oceny. Kwestionariusz społeczno-gospodarczy 6PR stanowił jedyną podjętą wspólnie przez DG próbę uzgodnienia takich danych (zob. pkt 76). Został on jednak sfinalizowany w 2004 r. (trzy lata po rozpoczęciu się okresu programowania) i obejmuje głównie aspekty takie, jak równość szans kobiet i mężczyzn oraz oddziaływanie na środowisko, a nie produkty badań naukowych (takie jak kwestie praw własności intelektualnej, publikacje itp.), ich wyniki oraz oddziaływanie.
73. Ocena programów jest w dużym stopniu uzależniona od dostępności trzech rodzajów danych:
- danych zgromadzonych z wykorzystaniem wskaźników skuteczności, których analiza daje wgląd w postępy w realizacji celów programu. Brak logiki interwencji, o którym mowa powyżej, oznacza, że określenie takich wskaźników było trudne (zob. pkt 30). W praktyce zgromadzone dane były w niewielkim stopniu przydatne do zmierzenia stopnia osiągnięcia celów programu,
- danych na temat zarządzania programem (zgromadzonych z wykorzystaniem wskaźników wydajności), oraz
- danych na temat uczestników (takich jak dane na temat uczestnictwa głównych organizacji badawczych).
74. W Komisji powinny być dostępne szczególnie te dwa ostatnie rodzaje danych. Jednak z powodu problemów w zakresie wewnętrznych systemów informatycznych Komisji, które stanowią źródło większości danych dotyczących zarządzania programami oraz uczestników programów(44), w praktyce występują w tym obszarze znaczące utrudnienia(45).
75. Obrazują to znaczące opóźnienia w udostępnianiu sprawozdań przedstawianych na mocy art. 173 oraz rocznych sprawozdań monitorujących (do 16 miesięcy w przypadku sprawozdań przedstawianych na mocy art. 173(46) i do 7 miesięcy w przypadku rocznych sprawozdań monitorujących w latach 2002-2005). Ponieważ informacje te były systematycznie przekazywane z opóźnieniem, ich użyteczność była ograniczona.
Nieefektywne podejście do uzyskiwania danych do celów oceny od uczestników
76. Od czasu 5PR Komisja konsekwentnie wymaga od uczestników, na mocy zawieranych umów, przekazywania następujących danych służących do pomiaru stopnia osiągnięcia ce lów programu - określanych na poziomie produktów, wyników i oddziaływania:
- w 5PR uczestnicy byli zobowiązani do przedstawienia "technologicznego planu wdrażania" wraz ze sprawozdaniem końcowym po zakończeniu projektu. Dokumenty te były zwykle niskiej jakości lub nie były w ogóle składane,
- w 6PR uczestnicy zobowiązani są do przedstawienia "planu użytkowania i upowszechniania wiedzy", a przy składaniu rocznych raportów technicznych muszą wypełnić standardowy kwestionariusz dotyczący kwestii społeczno-gospodarczych.
77. Te wymogi umowne zobowiązujące do przekazywania danych stanowiły dla uczestników niepotrzebne obciążenie administracyjne. Na przykład w odniesieniu do rocznego kwestionariusza 6PR dane są zbierane o wiele częściej, niż jest to potrzebne, i z całej populacji projektów, podczas gdy wystarczyłaby ich reprezentatywna próba. Może to prowadzić do "zmęczenia oceną". Ponadto informacje te były gromadzone w niewłaściwym czasie; wiele zagadnień, do których odnosiły się gromadzone dane, ma charakter średnio- lub długookresowy, więc gromadzenie danych w przewidzianym kontraktem okresie realizacji projektu jest z założenia przedwczesne(47). Z tego względu tylko w ograniczonym stopniu wykorzystano praktycznie informacje uzyskane dzięki tym narzędziom do celów ocen w 5PR i 6PR.
78. Jednak żaden z istniejących systemów nie przewiduje gromadzenia informacji na koniec (lub wkrótce po zakończeniu) realizacji projektu w sposób usystematyzowany. Zainteresowane strony, z którymi przeprowadzono rozmowy, sugerowały, że takie informacje mogłyby obejmować osiągnięcie celów projektu, zamierzone (i nieplanowane) rezultaty oraz opinię uczestników na temat wartości dodanej dla Wspólnoty. Takie informacje mogłyby także stanowić podstawę do przeprowadzenia zewnętrznych przeglądów zakończonych projektów(48).
79. Wraz z szerszym wykorzystaniem podejść naukometrycznych (takich jak analiza cytowań) do oceny rezultatów projektu (zob. pkt 83), mogłoby to stanowić dla Komisji podstawę do przejścia na system finansowania działań BRT wpółfinansowanych przez Wspólnotę w większym stopniu zorientowany na rezultaty(49).
Inne źródła danych wykorzystywano nieodpowiednio
80. W niewystarczającym stopniu wykorzystywane są inne istniejące źródła danych w Komisji i państwach członkowskich (np. bazy danych krajowych programów BRT i agencji finansujących, a także serwis CORDIS ("Community Research & Develop-ment Information Service") prowadzony przez urząd publikacji Komisji)(50).
Opracowania oceniające przygotowane przez Komisję
Sprawozdania zbadane przez Trybunał
81. Trybunał zbadał 86 opracowań oceniających przygotowanych przez Komisję (lub w imieniu Komisji) od 2000 r.: wszystkie 36 opracowań stanowiących podstawę oceny pięcioletniej, opublikowanej w 2004 r., oraz 50 opracowań ukończonych po tym czasie. Jedynie 23 opracowania można uznać za rzeczywiste oceny PR i tworzących je programów (zob. rysunek 5).
Rysunek 5
Przegląd opracowań oceniających przygotowanych przez Komisję (lub w imieniu Komisji) w latach 2000-2006
| Rodzaj opracowania | Liczba | Opis |
| Ocena działań podejmowanych w ramach PR | 23 | Opracowania oceniające - oparte na uznanej metodyce(50), - odnoszą się do celów programu i przedstawiają stopień, w jakim je osiągnięto. |
| Krajowe oceny oddziaływania opracowane na poziomie państw członkowskich | 12 | Opracowania przygotowane przez państwa członkowskie, które odnoszą się głównie do krajowych statystyk uczestnictwa, a nie formułują wniosków odnoszących się do celów programu. |
| Opracowania metodyczne | 5 | Opracowania, których przygotowanie zostało zorganizowane przez Komisję, mające na celu wsparcie rozwoju metodyki oceny. |
| Opracowania na temat sytuacji w zakresie BRT w Europie | 2 | Opracowania obejmujące kontekstowe analizy działalności badawczej w Europie, ale niedotyczące PR. Nie zawierają one w szczególności bezpośredniego odniesienia do wpływu PR na krajowe systemy badań i innowacji. |
| Dokumenty nieanalityczne, opisowe i statystyczne | 33 | Dokumenty zazwyczaj odnoszące się do działań podejmowanych w ramach PR w sposób bardzo pośredni, często opisujące te działania bez dokonywania ich analizy. |
| Inne dokumenty | 11 | Różne dokumenty, które dotyczą ogólnych kwestii politycznych, niezawierające analizy PR w tym kontekście. |
| (1) Hanne Foss Hansen, "Choosing evaluation models: A discussion on e valuation design", Evaluation, tom 11, nr 4, 2005, s. 447-462. | ||
Oceny koncentrowały się na kwestiach objętych monitorowaniem, a nie na wynikach i oddziaływaniu
82. Z przeprowadzonej przez Trybunał metaanalizy tych sprawozdań oceniających płyną dwa wnioski:
- chociaż w wielu opracowaniach próbuje się formułować wnioski odnoszące się do realizacji celów programu, wnioski te są sformułowane w sposób ogólnikowy, pozostawiając czytelnika w niepewności, czy faktycznie dokonano takiej oceny. Wynika to często z braku jasnych celów programu, co w sposób krytyczny osłabia proces oceny (zob. pkt 28),
- zamiast oceniać wyniki i oddziaływanie PR lub tworzących je programów (i podprogramów), wiele dokumentów jest opisowych i w najlepszym przypadku koncentruje się na bezpośrednich produktach projektów oraz na kwestiach związanych z zarządzaniem projektami. Sprawozdania te nie dostarczają przekonywających dowodów odnoszących się do wyników lub oddziaływania.
Niewystarczający nacisk na rozwój innowacyjnej metodyki
83. W ocenach przeprowadzonych w latach 2000-2006 dominuje wykorzystanie tradycyjnych metod i technik oceny (zwłaszcza ankiet, przeglądu dokumentacji i wywiadów) (zob. rysunek 6). Ponadto nie stosowano szeregu innych zaawansowanych, ale szeroko uznanych, metod i technik oceny (lub stosowano je jedynie bardzo rzadko), w szczególności:
- podejścia naukometryczne (takie jak analiza cytowań)(51),
- modele ilościowe (takie jak analiza efektywności kosztowej, opłacalności oraz kosztów i korzyści)(52), oraz
- modele koncentrujące się na roli jednostki (lub behawioralne) - które są ukierunkowane na opinie osób zaangażowanych w daną interwencję, na temat np. charakterystyki sieci badawczych i następujących w nich wraz z upływem czasu zmian.
84. Jedynie w nielicznych przypadkach opracowania oceniające poruszały kwestie trudności metodycznych napotkanych podczas oceny interwencji publicznych w dziedzinie badań naukowych (zob. załącznik I):
- ostatnio ukończono dwa opracowania na temat logiki interwencji(53),
- znaleziono tylko trzy opracowania, w których próbuje się ocenić wpływ finansowania wspólnotowego na tendencje do tworzenia przez organizacje badawcze sieci paneuropejskich(54) - i to pomimo faktu, że pozytywne efekty sieciowe są podstawowym założeniem EPB,
Rysunek 6
Wykorzystanie metod i technik w ocenach PR (2000-2006)
- tylko w jednym przypadku próbowano wyciągnąć wnioski na temat oddziaływania osiągniętego na poziomie programu (lub podprogramu), łącząc agregację analiz oceniających na poziomie projektów z innymi technikami oceny(55), oraz
- nie znaleziono dowodów na stosowanie innych metod, takich jak symulacje kontrfaktyczne (lub metody wykorzystujące grupy kontrolne). Jest to podejście, które byłoby bardzo przydatne do zilustrowania wartości dodanej programów na poziomie Wspólnoty, w zestawieniu z sytuacją, która miałaby miejsce przy braku interwencji (lub przy interwencji na poziomie krajowym lub regionalnym).
85. W rozmowach z przedstawicielami Trybunału zainteresowane strony wyrażały opinię, że użyteczność i adekwatność ocen przeprowadzanych przez Komisję mogłaby ulec poprawie. Wskazuje to na potrzebę dalszego rozwoju metodologicznego, tak aby system oceny mógł ewoluować w odpowiedzi na zmieniający się charakter PR (zob. pkt 7)(56).
Na podstawie opracowań oceniających Komisji nie było możliwe rozstrzygnięcie problematycznych kwestii poruszonych w ocenach pięcioletnich
86. Ilustrują to także znaczne problemy napotkane przez zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r.(57) przy udzielaniu odpowiedzi na pytania oceniające sugerowane w zakresie zadań i obowiązków. Wiele z tych problematycznych kwestii nie mogło zostać objętych analizą z uwagi na brak odpowiednich opracowań, przygotowanych uprzednio przez Komisję (lub w jej imieniu), a także ze względu na to, że członkowie zespołu nie mogli zlecić przygotowania takich opracowań w odpowiednim terminie (zob. rysunek 7).
Rysunek 7
Odpowiedzi na pytania oceniające w ramach oceny pięcioletniej przeprowadzonej w 2004 r.
| Pytanie oceniąjce | W sprawozdaniu zawarto odpowiedź? | |
| REALIZACJA | Czy wykonanie działań było wydajne? | częściowo |
| Czy wykonanie działań było efektywne kosztowo? | częściowo | |
| Czy wybrano działania najlepiej służące osiągnięciu wyznaczonych celów? | nie | |
| Czy ogólne ramy prawne (w tym zasady uczestnictwa i zasady dotyczące kontraktów), instrumenty polityki oraz warunki wykonania były jasne, odpowiednie i skutecznie funkcjonowały? | nie | |
| Czy poziom finansowania i innych dostępnych zasobów był wystarczający? | nie | |
| Czy środowiska branżowe i badawcze objęte interwencją, w tym MSP, odpowiednio na nią odpowiedziały? | tak | |
| OSIĄGNIĘCIA | Czy realizacja działań doprowadziła do osiągnięcia zamierzonych celów i do jakiego stopnia ich rezultaty były nieoczekiwane? | nie |
| Jakie są najważniejsze rezultaty - zwłaszcza w zakresie produktów naukowych, technologicznych i społeczno-gospodarczych, w zakresie współpracy międzynarodowej, transferu wiedzy i innowacyjności, działań prenormatywnych, dostępności, upowszechniania i wykorzystania wyników badań, rozwoju zasobów ludzkich, mobilności i szkoleń, a także w zakresie wspierania i zwiększania koordynacji działań badawczych? | nie | |
| Czy rezultaty oraz wyniki i oddziaływanie były ogólnie zadowalające z punktu widzenia bezpośrednich i pośrednich beneficjentów i zainteresowanych stron? | nie | |
| Czy podejście do objętych interwencją środowisk branżowych i badawczych, w tym MSP, było odpowiednie? | tak | |
| Jak i w jakim stopniu realizowane działania przyczyniły się do poprawy konkurencyjności badawczej UE na arenie międzynarodowej? Czy w poszczególnych obszarach badań UE objęła czołową pozycję? | częściowo | |
| Jak i w jakim stopniu działania przyczyniły się do realizacji ogólnych polityk UE oraz strategii zrównoważonego rozwoju UE? | nie | |
| Czy są dowody na potwierdzenie zmian strukturalnych, a zwłaszcza w zakresie tworzenia sieci współpracy, integracji i koordynacji badań, na poziomie krajowym lub międzynarodowym, które dokonały się w wyniku wspólnotowych działań badawczych? | nie | |
| Czy w ramach programów środki były wykorzystywane gospodarnie? Czy oddziaływanie realizowanych działań było trwałe? | nie | |
| EWOLUCJA I PERPSEKTYWY NA PRZYSZŁOŚĆ | Jak programy ramowe ewoluowały pod względem swojej logiki, celów, priorytetów tematycznych, zachowania równowagi między priorytetami ogólnymi a szczegółowymi oraz badaniami podstawowymi a stosowanymi, pod względem instrumentów, wartości dodanej w wymiarze europejskim i innych rodzajów oddziaływania, w szczególności w świetle koncepcji Europejskiej Przestrzeni Badawczej, celów lizbońskich oraz głównych międzynarodowych rozwiązań gospodarczych i badawczych? | tak |
| W jaki sposób w programie ramowym uzyskano wartość dodaną w wymiarze europejskim? | tak | |
| Czy wartość dodaną w wymiarze europejskim można uzyskać za pomocą innych mechanizmów międzynarodowych lub krajowych? | nie | |
| Czy cele polityki, priorytety, instrumenty i cykl życia programów są odpowiednie na przyszłość? | tak |
87. Ponadto zauważa się, że tylko w tych przypadkach, gdzie programy miały określone jasne i wymierne cele (takie jak poziom reprezentacji małych i średnich przedsiębiorstw wśród uczestników programu), członkowie zespołu mogli odpowiedzieć na pytania określone w zakresie zadań i obowiązków.
Oceny PR przeprowadzone na poziomie krajowym
88. Niektóre państwa członkowskie i kraje stowarzyszone przeprowadzają krajowe oceny PR, odpowiadając na pytania z ich perspektywy adekwatne i interesujące(58). W ciągu ostatnich 8 lat ukazało się 14 takich opracowań w 9 państwach członkowskich i jednym kraju stowarzyszonym.
89. Chociaż Komisja zachęcała w miarę możliwości do jednolitości stosowanych podejść, te krajowe oceny oddziaływania są bardzo zróżnicowane(59). W rezultacie, jako że ich metodyka nie jest zharmonizowana, możliwości agregowania, łączenia lub porównywania rezultatów są ograniczone. Ponadto, z uwagi na ich krajowy charakter, oceny te mogą jedynie częściowo ujmować europejski wymiar współpracy.
90. W opublikowanej w 2007 r. "Zielonej księdze" dotyczącej EPB Komisja stwierdziła, że istotne jest, aby na poziomie EPB dostępne były rzetelne analizy dotyczące oddziaływania i skuteczności działań i polityk badawczych, na poziomie państw członkowskich i UE. Komisja uznała też, że istniejące rozwiązania nie są odpowiednie, aby sprostać temu wyzwaniu, ponieważ na każdym poziomie interwencji oceny były wykonywane osobno(60).
Zalecenia
| 91. Komisja powinna opracować podręcznik oceny działań finansowanych z PR, zawierający definicje kluczowych pojęć i terminologii, a także określający szereg odpowiednich metod przeprowadzania niektórych działań podejmowanych w ramach oceny. Podręcznik ten powinien opierać się na istniejących wytycznych i zestawach narzędzi oraz powinien być regularnie aktualizowany. 92. Komisja powinna określić swoje potrzeby informacyjne, uwzględniając konieczność zmniejszenia obciążenia administracyjnego uczestników. 93. Komisja powinna we właściwym czasie przekazywać informacje uzyskane w wyniku monitorowania, dotyczące wdrażania PR. Zgodnie z wymogiem "Zasad uczestnictwa" odnoszących się do 7PR należy pilnie rozwiązać problemy występujące w stosowanych w Komisji informatycznych systemach zarządzania danymi na temat zarządzania programami oraz uczestników programów. 94. Zobowiązania sprawozdawcze uczestników wobec Komisji należy znacznie ograniczyć, a ankiety należy stosować jedynie w odniesieniu do próby projektów. Kontraktowy wymóg przedstawiania dla każdego projektu opartych na wskaźnikach danych na temat jego oddziaływania należy zastąpić krótką samooceną dokonywaną po zakończeniu projektu. 95. Komisja powinna szerzej wykorzystywać w swoich ocenach istniejące uzupełniające źródła stosownych danych (zarówno w samej Komisji, jak i w państwach członkowskich). 96. Komisja powinna stosować pełen zakres dostępnych technik oceny. Ponadto powinna wspierać rozwój innowacyjnych podejść do rozwiązywania problemów metodologicznych napotykanych podczas oceny interwencji publicznych w dziedzinie badań naukowych (zob. załącznik I) i wykorzystywać te podejścia w swoich własnych ocenach. 97. Komisja powinna prowadzić z państwami członkowskimi konsultacje dotyczące tego, w jaki sposób zmaksymalizować korzyści płynące z krajowych ocen PR. |
Upowszechnianie i wykorzystanie ustaleń poczynionych w ramach oceny
98. Ocena powinna być źródłem przydatnych informacji i analiz, które można skutecznie wykorzystać do zarządzania programami i do kształtowania polityki. W szczególności wyniki oceny powinny służyć jako podstawa do rozważań nad mocny mi i słabymi stronami interwencji publicznej, niezbędnych do wyciągnięcia wniosków z uzyskanych doświadczeń. Trybunał zbadał, w jakim stopniu oceny były przeprowadzane we właściwym czasie, ustalenia upowszechniano i przekazywano do wiadomości zainteresowanych stron spoza Komisji, a zalecenia z nich wynikające były uwzględniane przez Komisję i wykorzystywane do rewizji trwających programów (programy "uczące się").
Harmonogram przeprowadzania ocen nie uwzględniał racjonalnych możliwości uzyskania pewnych typów informacji
99. Trybunał uznaje, że niektóre rodzaje analiz wymagają perspektywy długookresowej (np. ocena wyników i oddziaływania społeczno-gospodarczego) oraz że pewne, choć nie wszystkie, aspekty (zob. rysunek 8) są związane z konkretnym okresem programowania (np. cele programu, nawet w ramach danej dziedziny naukowej). Komisja nie przyjęła jednak przy dokonywaniu oceny podejścia, które uwzględniałoby te horyzonty czasowe.
100. Przepisy wymagają, aby główne działania oceniające Komisji koncentrowały się wyłącznie na pięciu latach poprzedzających ocenę pięcioletnią, w konsekwencji obejmując części dwóch następujących po sobie okresów programowania. W rezultacie średnio- i długookresowe wyniki i oddziaływanie prawie w ogóle nie są analizowane. Z tego powodu oceny pięcioletnie głównie koncentrowały się na aspektach związanych z monitorowaniem, krótkoterminowych kwestiach związanych z założeniami programów i ogólnych uwagach dotyczących orientacji PR. Trybunał przyjmuje z zadowoleniem fakt, że przepisy odnoszące się do 7PR nie zawierają wymogu dokonywania ocen pięcioletnich ani nie wyznaczają z góry innego okresu, który miałby być objęty oceną.
Rysunek 8
Monitorowanie i ocena w różnych horyzontach czasowych
| Monitorowanie wdrożenia programów (prowadzone na bieżąco) | - Aspekty zarządzania programami (np. czas oczekiwania na kontrakt, czas oczekiwania na płatność, współczynniki subskrypcji i powodzenia programów, wykonanie budżetu, poziomy finansowania itp.) |
| Ocena krótkookresowa (zazwyczaj najwcześniej po 1-2 latach) | - Aspekty zarządzania programami (np. wydajność procedur administracyjnych) - Aspekty koncepcji programów (np. dostępność i elastyczność instrumentów, kryteria uczestnictwa stanowiące barierę, konsekwencje fiaska procedur konkursowych itp.) - Analiza profilu uczestnictwa (na tym etapie głównie ilościowa) |
| Ocena średniookresowa (zazwyczaj najwcześniej po 7 latach) | - Aspekty koncepcji programów (np. skuteczność instrumentów) - Analiza uczestnictwa (łącząca aspekty jakościowe i ilościowe, np. analiza sieci badawczych, oddziaływanie na zachowania badaczy itp.) - Analiza produktów projektów(1) (np. publikacji, opracowań, patentów, licencji, prototypów, przeszkolonych naukowców itp.) |
| Ocena długookresowa (zazwyczaj najwcześniej po > 10 latach) | - Ocena wyników i oddziaływania |
| (1) Należy zauważyć, że umowy dotacji przyznawanych projektom podpisywane są w trakcie całego okresu programowania; pierwsze umowy zazwyczaj wchodzą w życie pod koniec pierwszego roku realizacji programu. Okres obowiązywania tych umów wynosi przeważnie od trzech do pięciu lat, a w konsekwencji produktów końcowych można spodziewać się najwcześniej po czterech-sześciu latach. | |
Źródło: Europejski Trybunał Obrachunkowy.
101. Także eksperci Komisji zwrócili uwagę, że oceny pięcioletnie niewystarczająco odnoszą się do wyników i oddziaływania PR:
- zespół ds. oceny pięcioletniej przeprowadzanej w 2004 r. zauważył: "(...) ocena powinna obejmować i z równą uwagą traktować zarówno kwestie długo-, jaki krótkoterminowe" oraz: "(...) można by uwolnić zasoby (...), aby umożliwić przeprowadzenie ambitniejszych długoterminowych ocen, które mogłyby objąć kwestie strukturalne i szersze zagadnienia społeczno-gospodarcze w sposób bardziej systematyczny"(61),
- w opracowaniu zleconym przez DG ds. Badań Naukowych stwierdzono, że "(...) obecne działania podejmowane w ramach oceny BRT w UE (w tym bieżące monitorowanie, oceny pięcioletnie i ocena śródokresowa) silnie koncentrują się na monitorowaniu, a nie na ocenie oddziaływania" oraz: "(...) aby ukierunkować zapotrzebowanie i oczekiwania na oddziaływanie społeczno-gospodarcze, konieczne byłoby wprowadzenie nowych ram oceny i monitorowania, wymagających skoncentrowania się w większym stopniu na ocenie oddziaływania niż monitorowaniu produktów"(62).
102. Kwestia ram czasowych ma także wpływ na wymagane przepisami oceny szczegółowe. Na przykład sprawozdanie Mari- móna z 2004 r., które analizowało nowe instrumenty wprowadzone w 6PR (2003-2006), zostało zlecone zbyt wcześnie, i w konsekwencji praktyczne doświadczenia i dowody empiryczne, na których można by oprzeć wnioski, były niewielkie lub nie było ich w ogóle(63).
Informowanie i upowszechnianie
103. Komisja może we własnym zakresie opracowywać i dostosowywać operacyjne programy pracy w cyklach krótkoterminowych, pod warunkiem zatwierdzenia przez właściwy komitet programowy. Może to stanowić okazję do korekty sposobu zarządzania programem, a także do realokacji budżetów w ramach podprogramów. Nie znaleziono dowodów na wykorzystywanie tej możliwości przez Komisję (zob. pkt 107).
104. Poza tym, z uwagi na sposób, w jaki PR są opracowywane i przyjmowane, jest prawie niemożliwe, by Komisja dokonała istotnych zmian, takich jak modyfikacje celów programów lub przesunięcie środków budżetowych między podprogramami. Jedynie prawodawca może wprowadzić tak daleko idące modyfikacje podczas dokonywania rewizji aktów prawnych dotyczących PR (jak np. rewizji 7PR w 2010 r.) lub przy przyjmowaniu kolejnych PR. Z tego powodu przepisy zazwyczaj stanowią, że przeprowadzenie głównych procesów oceny powinno być tak zaplanowane w czasie, by ich wyniki mogły być możliwie najpełniej wzięte pod uwagę przy kształtowaniu polityki.
105. Dlatego też część głównych użytkowników ocen Komisji stanowią same "dyrekcje badawcze"(64). Przepisy odnoszące się do PR wyraźnie wymagają jednak przedstawiania wyników oceny Parlamentowi Europejskiemu i Radzie.
106. W ramach przeprowadzonej przez Trybunał ankiety wśród członków parlamentarnej komisji ITRE i komitetu CREST Rady większość respondentów wskazała jednak, że nie czują się wystarczająco poinformowani o wdrażaniu i rezultatach PR (zob. rysunek 9)(65).
Rysunek 9
Opinia zainteresowanych instytucji - zadowolenie z otrzymywanych informacji
Działania podjęte w związku z ustaleniami poczynionymi w ramach oceny
107. W swoich rocznych przeglądach ocen Komisja przedstawia podsumowanie ustaleń poczynionych i działań podjętych w wyniku przeprowadzonych ocen(66). W odniesieniu do działań podejmowanych w wyniku oceny Komisja przekazała także oficjalne odpowiedzi na ustalenia i zalecenia poczynione w ramach ocen pięcioletnich i ocen szczegółowych wymaganych przepisami, a także, w miarę możliwości, podjęła odpowiednie środki, aby zaradzić wskazanych uchybieniom. Nie miało to jednak miejsca w przypadku wielu innych zbadanych sprawozdań oceniających i nie znaleziono dowodów, że zawarte w nich ustalenia i zalecenia zostały uwzględnione przy dokonywaniu zmian w programach pracy. Podobnie, opracowane przez DG budżetowe opisy zadań oraz roczne sprawozdania z działalności nie wskazują, w jakim stopniu ustalenia poczynione w ramach oceny zostały uwzględnione.
Zalecenia
| 108. Komisja powinna określić rodzaj i zakres oceny możliwej do przeprowadzenia w terminach określonych w przepisach (2008 r., 2010 r. i 2015 r.), a także objaśnić, jak można wykorzystać wyniki ocen do korekty programów (programy "uczące się") i jaki wpływ mogą one mieć na podejmowanie decyzji dotyczących kształtu danej polityki. W szczególności Komisja powinna przedstawić swoje planowane podejście do oceny długoterminowych rezultatów zakończonych i trwających PR, jako że rezultaty takie mogą być widoczne po 7-10 latach (zob. rysunek 8). 109. Komisja powinna poddać przeglądowi swoje działania w zakresie komunikowania i upowszechniania wyników ocen, aby móc zagwarantować, że zainteresowane strony otrzymują niezbędne informacje. W szczególności, "dyrekcje badawcze" powinny sporządzać oficjalne odpowiedzi w odniesieniu do wszystkich ocen oraz w odpowiednim terminie upubliczniać te analizy wraz ze swoimi odpowiedziami. "Dyrekcje badawcze" powinny także umieścić w swoich budżetowych opisach zadań oraz rocznych sprawozdaniach z działalności informacje na temat działań podjętych w związku z wynikami oceny oraz wykorzystywać zalecenia przy aktualizowaniu swoich programów pracy i opracowywaniu przyszłych programów. |
WNIOSEK OGÓLNY
110. Trybunał przyznaje, że ocena programów BRT, a w szczególności ich długoterminowych rezultatów, jest zadaniem z założenia trudnym i trudne jest określenie najlepszych praktyk w tym zakresie.
111. W opinii Trybunału ocena jest niezbędna do zarządzania programami, przyszłego planowania i kształtowania polityki. Ocena stanowi również podstawę rozliczalności. Jest ona źródłem cennych informacji na temat tego, jakie zamierzone (i niezamierzone) rezultaty osiągnięto, zakresu, w jakim cele programu zostały osiągnięte, stosowności i użyteczności programów oraz wydajności i skuteczności wdrażania programu. Jako że to Parlament Europejski i Rada decydują o ogólnych kierunkach, sprawach budżetowych i założeniach PR, potrzebny jest im przejrzysty, wiarygodny i solidny system oceny stanowiący źródło odpowiednich informacji.
112. Komisja ustanowiła ogólne ramy oceny w 2000 r. i 2002 r., a następnie dokonała ich rewizji w 2007 r. Choć w okresie badanym przez Trybunał nie zauważono znaczącej poprawy sposobu, w jaki oceny PR i tworzących je programów są planowane, opracowywane i realizowane, "dyrekcje badawcze" ogólnie spełniają wymogi formalne ustalone dla całej Komisji.
113. W odniesieniu do okresu objętego niniejszym sprawozdaniem, zgodnie z wymaganiami określonymi w aktach prawnych dotyczących PR, w "dyrekcjach badawczych" istniał system oceny i Komisja potrafi wskazać pokaźny zbiór opracowań oceniających. Jednak ostatecznie niewiele lub nic nie wiadomo na temat osiągnięcia celów programów i rezultatów PR. Jest tak dlatego, że oceny generalnie koncentrowały się na krótkoterminowych kwestiach związanych z wdrażaniem programu. W rezultacie oceny Komisji były w ograniczonym stopniu przydatne osobom odpowiedzialnym za kształtowanie polityki, zainteresowanym stronom, czy nawet samej Komisji.
114. Z uwagi na znaczenie oceny dla zarządzania programami i kształtowania polityki, podejście Komisji do oceny PR i tworzących je programów należy ponownie rozważyć w związku z nowymi wyzwaniami politycznymi, zwiększonymi środkami finansowymi, poszerzeniem orientacji wspólnotowej polityki w dziedzinie badań naukowych oraz niedawną reformą Komisji. Zalecenie to sformułował także EURAB w swoim sprawozdaniu z 2007 r.
115. W opinii Trybunału zastosowanie jasnej logiki interwencji w koncepcji przyszłych programów PR poprawiłoby ukierunkowanie i strukturę tych programów. Przyczyniłoby się także do realizacji przez Komisję polityki "lepszego stanowienia prawa", mającej na celu poprawę koncepcji, uproszczenie, zwiększenie skuteczności i lepsze zrozumienie otoczenia regulacyjnego(67).
116. Ocena PR i tworzących je programów byłaby bardziej skuteczna, gdyby cele programów i wskaźniki ich osiągnięcia były od początku jaśniejsze, gdyby "dyrekcje badawcze" wdrażające PR uzgodniły solidną, ale nie nazbyt sztywno określoną strategię oceny i gdyby zastosowano bardziej zaawansowane metody oceny, w tym podejścia ilościowe.
117. Trybunał zwrócił również uwagę na szereg punktów, w których Komisja mogłaby zrewidować stosowane obecnie rozwiązania organizacyjne w zakresie oceny PR. Korzyści może przynieść:
- angażowanie zespołów ds. oceny na wcześniejszym etapie procesu oceny, a dzięki temu wspieranie Komisji w całym cyklu programowania i po jego zakończeniu oraz podnoszenie stopnia wyspecjalizowania dzięki powoływaniu zespołów do poszczególnych programów szczegółowych oraz, w odpowiednich przypadkach, podprogramów,
- wzmocnienie istniejących w poszczególnych DG działów ds. oceny dzięki utworzeniu wspólnego biura oceny odpowiedzialnego za koordynację ocen PR.
118. Zalecenia zawarte w niniejszym sprawozdaniu są oparte na istniejących praktykach w Komisji lub na dobrych praktykach międzynarodowych. W odniesieniu do zasobów, jasne jest, że przyjęcie sugerowanego podejścia do oceny programów pociągnęłoby za sobą wzrost kosztów. Trybunał jest jednak zdania, że najprawdopodobniej wynikające z niego korzyści przynajmniej zbilansują poniesione koszty.
Niniejsze sprawozdanie zostało przyjęte przez Trybunał Obrachunkowy w Luksemburgu na posiedzeniu w dniu 22 listopada 2007 r.
| W imieniu Trybunału Obrachunkowego | |
| Hubert WEBER | |
| Prezes |
______
(1) Według OECD badania i rozwój można zdefiniować jako "(...) systematycznie prowadzone prace twórcze, podjęte dla zwiększenia zasobu wiedzy, w tym wiedzy o człowieku, kulturze i społeczeństwie, jak również dla znalezienia nowych zastosowań dla tej wiedzy" (zob. Podręcznik Frascati, OECD - Proponowane procedury standardowe do badań statystycznych w zakresie działalności badawczo-rozwojowej, Paryż 2002, s. 30). W kontekście wspólnotowym stosuje się akronim BRT, obejmujący zarówno technologię, jak i badania i rozwój.
(2) DG ds. Badań Naukowych jest główną dyrekcją generalną zarządzającą i koordynującą PR. Pięć pozostałych dyrekcji również zarządza (w części) poszczególnymi programami: główną rolę pełni DG ds. Społeczeństwa Informacyjnego i Mediów (pozostałe dyrekcje to: DG ds. Transportu i Energii, DG ds. Przedsiębiorstw i Przemysłu, DG ds. Rybołówstwa i Gospodarki Morskiej oraz Wspólne Centrum Badawcze Komisji).
(3) W 2000 r. na szczycie Rady Europejskiej w Lizbonie wytyczono cel polegający na uczynieniu UE do roku 2010 najbardziej dynamiczną, konkurencyjną i opartą na wiedzy gospodarką, charakteryzującą się zrównoważonym wzrostem gospodarczym, pełnym zatrudnieniem i wzmocnioną spójnością gospodarczą i społeczną.
(4) W 2002 r. Rada Europejska uzgodniła, że całkowite wydatki na BRT i działalność innowacyjną w Unii Europejskiej należy zwiększyć tak, aby zbliżyły się do poziomu 3 % PKB do roku 2010. Ustalono też, że dwie trzecie tych nowych inwestycji powinno pochodzić z sektora prywatnego (zob. dokument Komisji Europejskiej pt. "Investing in research: an action plan for Europe"; komunikat Komisji do Rady, Parlamentu Europejskiego, Europejskiego Komitetu Ekonomiczno-Społecznego oraz Komitetu Regionów, COM(2003) 226 wersja ostateczna, s. 7).
(5) W ramach zarządzania bezpośredniego Komisja realizuje operacje niezbędne do wykonywania budżetu bez żadnego udziału państw członkowskich ani państw trzecich, w których znajdują się odbiorcy funduszy.
(6) Od roku 2006 w samym tylko 6PR wzięło udział ponad 22.000 publicznych i prywatnych osób prawnych, głównie w ramach konsorcjów skupiających wielu partnerów.
(7) Jest to metoda współpracy oparta na zasadzie dobrowolnej współpracy międzyrządowej. Obejmuje w szczególności uczenie się od siebie nawzajem, analizę porównawczą i dzielenie się najlepszymi praktykami.
(8) Rozporządzenie Rady (WE, Euratom) nr 1605/2002 z dnia 25 czerwca 2002 r. (Dz.U. L 248 z 16.9.2002, s. 1), art. 27, 48, 59 i 60.
(9) Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. "Responding to strategic needs: reinforcing the use of evaluation", SEC(2007) 213, z dnia 21 lutego 2007 r.; Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Schreyer, pt. "Focus on results: Strengthening Evaluation of Commission Activities", SEC(2000) 1051, z dnia 26 lipca 2000 r.
(10) Decyzja nr 1982/2006/WE Parlamentu Europejskiego i Rady z dnia 18 grudnia 2006 r. dotycząca siódmego programu ramowego Wspólnoty Europejskiej w zakresie badań, rozwoju technologicznego i demonstracji (2007–2013) (Dz.U. L 412 z 30.12.2006, s. 1): art. 7 ust. 1; informacje uzyskane w wyniku monitorowania, które mają być przekazywane przez Komisję komitetom programowym, są określone w decyzjach dotyczących programów szczegółowych (zob. np. decyzja Rady 2006/971/WE z dnia 19 grudnia 2006 r. dotycząca programu szczegółowego Współpraca, wdrażającego siódmy program ramowy Wspólnoty Europejskiej w dziedzinie badań, rozwoju technologicznego i demonstracji (2007–2013) (Dz.U. L 400 z 30.12.2006, s. 86): art. 8 ust. 4 oraz załącznik V).
(11) Komisja Europejska, Communication to the Council concerning a Community plan of action relating to the Evaluation of Community research and development activities for the years 1987 to 1991, COM(86) 660 wersja ostateczna, z dnia 20 listopada 1986 r., w odpowiedzi na rezolucję Rady z dnia 28 czerwca 1983 r.
(12) Komisja Europejska, "Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996"; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Viscounta Davignona (1997); Komisja Europejska, "Five-year Asses- sment of the European Union Research and Technological Develop- ment Programmes, 1995-1999"; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Joana Majó (lipiec 2000); Komisja Europejska, "Five-year Assessment of the European Union Research Framework Programmes, 1999-2003"; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali (15 grudnia 2004 r.).
(13) Komisja Europejska, "Evaluation of the effectiveness of the New Instruments of Framework Programme VI", 21 czerwca 2004 r., sprawozdanie zespołu ekspertów wysokiego szczebla pod przewodnictwem profesora Ramona Marimóna.
(14) Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Schreyer pt. "Focus on Results: Strengthening Evaluation of Commis- sion Activities", lipiec 2000, SEC(2000) 1051; Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od przewodniczącego i p. Schreyer pt. "Evaluation Standards and Good Practice", C(2002) 5267, z dnia 23 grudnia 2002 r.
(15) Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. "Responding to strategic needs: reinforcing the use of evaluation", SEC(2007) 213, z dnia 21 lutego 2007 r.
(16) Komisja Europejska, wewnętrzny dokument roboczy "Impact asses-sment and ex-ante evaluation", SEC(2005) 430.
(17) Działająca w Parlamencie Europejskim Komisja ITRE (Komisja Przemysłu, Badań Naukowych i Energii) jest (w szczególności) odpowiedzialna za politykę przemysłową, politykę badań naukowych (w tym upowszechnianie i wykorzystanie wyników badań), politykę kosmiczną, działalność Wspólnego Centrum Badawczego, Traktat Euratom oraz społeczeństwo informacyjne i technologie informacyjne.
(18) CREST ("Comité de la Recherche Scientifique et Technique" - Komitet Badań Naukowo-Technicznych) utworzono na mocy rezolucji Rady z dnia 14 stycznia 1974 r. i składa się on z przedstawicieli władz krajowych, którzy są odpowiedzialni za polityki państwa członkowskich w zakresie badań i rozwoju technologicznego. CREST pełni rolę doradczą, informując Komisję i Radę w szczególności o kwestiach związanych z koordynacją krajowych polityk BRT oraz monitorowaniem i oceną PR.
(19) Modele logiczne przedstawiające, jak w ramach różnych działań wkład prowadzi do oczekiwanych rezultatów, są najwłaściwszą metodą obrazowania logiki interwencji. Za pomocą tych modeli można przedstawić w jasny sposób założenia koncepcyjne programu oraz rozbicie głównych celów na cele operacyjne.
(20) Komisja Europejska, DG ds. Budżetu, "Evaluating EU activities: a practical guide for the Commission services", lipiec 2004, s. 87 i 106.
(21) "Five-year Assessment of the European Union Research Framework Programmes, 1999-2003"; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali (15 grudnia 2004 r.): sekcja 6 "Evaluating the Framework Programme", s. 19.
(22) Kraje otrzymujące pomoc zewnętrzną są zobowiązane do przedstawiania modeli logicznych w odniesieniu do finansowania wspólnotowego (Komisja Europejska, Aid delivery methods, tom 1: Project cycle management guidelines, marzec 2004, sekcja 5: The logical framework approach).
(23) Rozporządzenie (WE, Euratom) nr 1605/2002, art. 27 ust. 3.
(24) W 2006 r. obszar polityki "Badania naukowe" (tytuł 08) został skonstruowany na podstawie programów szczegółowych (i podprogramów) okresu programowania dla realizowanego wówczas 6PR (i w konsekwencji został zastąpiony inną strukturą w 2007 r.), podczas gdy w obszarze polityki "Społeczeństwo informacyjne i media" (tytuł 09) obecny i poprzedni program szczegółowy zostały połączone w jedno zadanie ABB (Komisja Europejska, DG ds. Badań Naukowych, dyrekcja A: Koordynacja działalności wspólnotowej, Planowanie, programowanie, ocena, roczny plan zarządzania 2006, 20.12.2005; Komisja Europejska, DG ds. Społeczeństwa Informacyjnego i Mediów, roczny plan zarządzania 2006, 23.12.2005).
(25) W przypadku DG ds. Badań Naukowych, cele ABM (oraz wskaźniki wykorzystywane do pomiaru stopnia ich osiągnięcia) zmieniały się z roku na rok. Z drugiej strony, DG ds. Społeczeństwa Informacyjne go i Mediów stosowała cele wieloletnie, które nie pokrywały się jednak z celami programów (lub celami określonymi na poziomie programu prac).
(26) Komisja Europejska, Służba Audytu Wewnętrznego, Review of effec-tiveness and efficiency of the SPP/ABM cycle - Sekretariat General ny i DG ds. Budżetu, 2005: pkt 4.1, s. 31.
(27) Komisja Europejska, "Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes", COM(83) 1 wersja ostateczna, z dnia 19 stycznia 1983 r.
(28) Komunikat od Komisji do rady i Parlamentu Europejskiego, "Independent external monitoring and evaluation of Community activities in the area of research and technological development", z dnia 22 maja 1996 r. (COM(1996) 220 wersja ostateczna).
(29) Każda DG wdrażająca PR dokumentuje planowane przez siebie oceny w rocznym (i wieloletnim) planie oceny. Jednak nie można uznać, że dokumenty te stanowią strategię oceny.
(31) "Loi de programme pour la recherche no 2006-450" z dnia 18 kwietnia 2006 r. oraz "Décret no 2006-1334 relatifà l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)" z dnia 3 listopada 2006 r.
(32) Agencia Nacional de Evaluación y Prospectiva w ramach Ministerio de Educación y Ciencia: Orden ECI/1252/2005 z dnia 4 maja 2005 r., ustanawiający "Comisión sesora de Evaluación y Prospectiva" (Komisję Doradczą ds. Oceny i Perspektyw).
(33) W 2004 r. "Deutsche Forschungsgemeinschaft" (DFG) utworzył specjalistyczny instytut "Institut für Forschungsinformation und Qualitätssicherung" (IFQ) i przekazał mu odpowiedzialność za opracowywanie i standaryzację metodyki oceny, zapewnienie jakości i dokonywanie ocen działalności BRT finansowanej przez DFG.
(34) W 7PR Komisja utworzyła 15 takich grup, w 6PR - 12, a w 5PR - 17. Grupy te doradzają Komisji w kwestiach polityki i programowych związanych z PR. Należy jednak zauważyć, że grupy te nie obejmują całej struktury programowej PR. Innymi słowy, nie dla każdego programu szczegółowego (lub podprogramu) istnieje grupa doradcza.
(35) W Kanadzie prawie wszystkie federalne departamenty rządowe powołały stałe komitety oceny, składające się z wysokich rangą urzędników departamentalnych i zazwyczaj także z zainteresowanych stron ze wnętrznych, do nadzorowania systemu oceny ("Social Sciences and Humanities Research Council of Canada": Evaluation Standing Com-mittee - Mandate and Membership).
(36) Komisja Europejska, sprawozdanie monitorujące za 2004 r.: "Imple-mentation of Activities under the EC and Euratom framework and corresponding specific programmes", sierpień 2005, s. 5.
(37) Komisja Europejska, "Planning and optimising Commission human resources to serve EU priorities", SEC(2007) 530, z dnia 24 kwietnia 2007 r.
(38) Komisja Europejska, komunikat do Komisji od Przewodniczącego i p. Schreyer, "Evaluation standards and good practice", C(2002) 5267 z dnia 23 grudnia 2002 r.; Komisja Europejska, wewnętrzny dokument roboczy, "Impact assessment and ex-ante evalua-tion", SEC(2005) 430 z dnia 6 kwietnia 2005 r., załącznik 1, przypis 209.
(39) W 2007 r. Europejski Komitet Konsultacyjny ds. Badań (EURAB) zalecił także przydzielenie większych zasobów na ocenę PR (EURAB, "Recommendations on Ex-Post Impact Assessment", lipiec 2007).
(40) Sprawozdanie specjalne nr 1/2004 na temat zarządzania pośrednimi działaniami w dziedzinie BRT w 5. Programie ramowym (5PR) badań i rozwoju technologicznego (1998-2002) (Dz.U. C 99 z 23.4.2004), pkt 116 i 122.
(41) Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. "Responding to strategic needs: reinforcing the use of evaluation", SEC(2007) 213, z dnia 21 lutego 2007 r.; Komisja Europejska, komunikat do Komisji od Przewodniczącego i p. Schreyer, pt. "Evaluation standards and good practice", C(2002) 5267 z dnia 23 grudnia 2002 r.
(42) 14 DG posiada takie podręczniki oceny dla obszarów polityki i programów, za które dyrekcje te odpowiadają (Komisja Europejska, DG ds. Budżetu, dział ds. oceny, "Overview of Evaluation Guides in the Commission", październik 2004 r.).
(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox - Assessing the Socio Economic Impact of RTD-Policies, IPTS-WCB, 2002; PREST et al.; "Assessing the Socio-economic Impacts of the Framework Programme"; Uniwersytet w Manchesterze; 2002 r.
(44) Chociaż Komisja na ogół posiada takie informacje dotyczące uczestników, często nie można ich wykorzystać do przeprowadzenia szczegółowej analizy, ponieważ dane na temat danego uczestnika nie są gromadzone w jednym miejscu ani też nie są zawsze rejestrowane w kompatybilnych formatach. Utrudnia to prześledzenie zaangażowania danego uczestnika w dłuższym okresie - na przykład, aby ocenić powody nieuczestnictwa, a także relacji między uczestnikami - na przykład, aby zbadać efekty sieciowe (zob. pkt 84).
(45) Sprawozdanie roczne dotyczące roku budżetowego 2006, tabela 2.3; sprawozdanie roczne dotyczące roku budżetowego 2005, pkt 7.13; sprawozdanie roczne dotyczące roku budżetowego 2004, pkt 6.8 i 6.10; sprawozdanie roczne dotyczące roku budżetowego 2003, pkt 6.9 i 6.70; sprawozdanie specjalne nr 1/2004, pkt 105-108; opinia nr 1/2006 w sprawie projektu rozporządzenia Parlamentu Europejskiego i Rady ustanawiającego zasady uczestnictwa przedsiębiorstw, ośrodków badawczych i uczelni wyższych w działaniach prowadzonych w ramach siódmego programu ramowego oraz zasady upowszechniania wyników badań (2007-2013) (Dz.U. C 203 z 25.8.2006), pkt 57.
(46) Traktat ustanawiający Wspólnotę Europejską, art. 173: "Na początku każdego roku Komisja przedstawia sprawozdanie Parlamentowi Europejskiemu i Radzie. Sprawozdanie to zawiera zwłaszcza informację o działaniach w zakresie badań, rozwoju technologicznego oraz upowszechniania wyników w roku poprzednim oraz program pracy na rok bieżący".
(47) Nie było systematycznych prób gromadzenia danych od uczestników po zakończeniu projektów, z wyjątkiem ankiet w ramach prowadzonych ocen. Zastosowanie ankiet utrudnił fakt, że uczestnicy, inaczej niż w wielu krajowych programach BRT (np. w Niemczech), nie są prawnie zobowiązani do przekazywania takich danych analitycznych.
(48) Sprawozdanie specjalne nr 1/2004, pkt 94; opinia nr 1/2006, pkt 56.
(49) Sprawozdanie roczne dotyczące roku budżetowego 2006, pkt 7.33; sprawozdanie roczne dotyczące roku budżetowego 2005, pkt. 7.8 i 7.29; opinia nr 1/2006, pkt 58-61.
(50) CORDIS jest jedyną bazą danych oferującą informacje na temat konkursów, projektów i rezultatów, która jest wspólna dla całego PR; obejmuje kilka okresów programowania i jest dostępna z zewnątrz Komisji. Jednakże zawarte w CORDIS dane dotyczące poszczególnych projektów często nie są aktualizowane po dokonaniu wyboru danego projektu. Do 6PR włącznie prywatni i publiczni uczestnicy PR nie byli zobowiązani do upubliczniania rezultatów (Europejski Komitet Konsultacyjny ds. Badań (EURAB), "Scientific publication: policy on open access", grudzień 2006 r.).
(51) Do 6PR włącznie prywatni i publiczni uczestnicy PR nie byli zobowiązani do upubliczniania rezultatów swoich badań naukowych. W grudniu 2006 r. EURAB zalecił zagwarantowanie bezpłatnego publicznego dostępu do badań finansowanych przez Wspólnotę. Zalecono też, by Komisja utworzyła internetowy serwis zawierający opublikowane rezultaty projektów (patrz EURAB, "Scientific publication: policy on open access", grudzień 2006 r.
(52) Zauważono, że modele takie stosowano do sporządzania prognoz mikro- i makroekonomicznych wyników planowanego 7PR (zob. Komisja Europejska, sprawozdanie monitorujące za rok 2004: "Implementation of Activities under the EC and Euratom framework and corresponding specific programmes", sierpień 2005 r., s. 23-25). Nie ma jednak dowodu na to, by ta ocena potencjalnego wpływu ekonomicznego PR była powiązana z jakimkolwiek planem oceny ex post.
(53) DG ds. Społeczeństwa Informacyjnego i Mediów, "IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)", 2005; "Networks of innovation in information society development and deployment in Europe", 2006.
(54) DG ds. Społeczeństwa Informacyjnego i Mediów: "ERAnets - Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area" (sprawozdanie końcowe), 2005; "Evaluation of progress towards a European Research Area for information society technologies", 2005; "Networks of innovation in information society development and deployment in Europe", 2006.
(55) DG ds. Społeczeństwa Informacyjnego i Mediów: umowa ramowa o wykonanie ocen oddziaływania badań w obszarze technologii społeczeństwa informacyjnego.
(56) EURAB, "Recommendations on Ex-Post Impact Assessment", li piec 2007.
(57) Komisja Europejska, "Five-year Assessment of the European Union Research and Technological Development Programmes, 1999-2003". Sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali (15 grudnia 2004 r.), załącznik I.
(58) Komisja Europejska, "The impact of EC R&D policy on the European science and technology community; National impact studies synthe- sis final report" (1995).
(59) Komisja Europejska, "Design of an harmonized impact study methodology for the R&D EU Framework Programmes", 1992.
(60) Komisja Europejska, wewnętrzny dokument roboczy, "The European Research Area: new perspectives", SEC(2007) 412/2 z dnia 4 kwietnia 2007 r., sekcja 3.3.3 "ERA and the implications for evidence-based monitoring and evaluation", s. 93.
(61) Komisja Europejska, "Five-year Assessment of the European Union Research Framework Programmes, 1999-2003"; sprawozdanie zespołu niezależnych ekspertów pod przewodnictwem Erkkiego Ormali(15 grudnia 2004 r.): sekcja 6 "Evaluating the Framework Programme", s. 19.
(62) Komisja Europejska, "Evaluation Toolbox - Assessing the Socio Economic Impact of RTD Policies", tzw. "EPUB Toolbox" wydane przez Wspólne Centrum Badawcze - Instytut Perspektywicznych Studiów Technologicznych oraz Joanneum Research (sierpień 2002 r.), Executive Summary, s. 9 i 12.
(63) Komisja Europejska, "Evaluation of the effectiveness of the New Instruments of Framework Programme VI", z dnia 21 czerwca 2004 r., sprawozdanie zespołu ekspertów wysokiego szczebla pod przewodnictwem profesora Ramona Marimóna, s. 20.
(64) Europejskie Konsorcjum ds. Oceny Polityki Europejskiej (EPEC), Technopolis France, "Study on the use of evaluation results in the Commission: Final report", dossier nr 1 sprawozdanie podsumowujące i załączniki, maj 2005 r.
(65) Wyższy poziom zadowolenia zgłoszony przez respondentów z komitetu CREST, którzy często są jednocześnie członkami komitetów programowych, może wynikać z oficjalnej roli, jaką pełnią w monitorowaniu wdrażania programów.
(66) Komisja Europejska, wewnętrzny dokument roboczy, Annual Evaluation Review 2004 - Overview of the Commission's evaluation findings and activities, SEC(2005) 587, z dnia 28 kwietnia 2005 r.
(67) Komisja Europejska, DG ds. Budżetu, komunikat do Komisji od p. Grybauskaitė w porozumieniu z Przewodniczącym, pt. "Respon-ding to strategic needs: reinforcing the use of evaluation", SEC(2007) 213, z dnia 21 lutego 2007 r., s. 4.
ZAŁĄCZNIKI