SOR, czyli „Strategia na rzecz Odpowiedzialnego Rozwoju”, ma być „odmienną od dotychczas przyjmowanych strategii rozwojowych”. Ma być narzędziem obejmującym całość procesów rozwojowych kraju. Skoro ma to być program całościowy, to i w szczególny sposób powinien być traktowany. Instytucje publiczne muszą dołożyć szczególnych starań, przy ocenie zasadności i spójności założeń, na których SOR jest oparta. Ale, jak jest prowadzony proces planowania SOR? Jak wygląda forma jego eksperckiej ewaluacji?
Ewaluacja jest standardowym narzędziem, stosowanym m.in. do oceny założeń interwencji, przebiegu jej realizacji, lub też efektów oraz rezultatów. Stosują ją często instytucje publiczne, by wesprzeć proces podejmowania decyzji, a wykonują ją najczęściej profesjonalni zewnętrzni ewaluatorzy. Ewaluacja dokumentu strategicznego w sferze publicznej, może być przeprowadzona zanim podejmowane będą decyzje o implementacji polityki (tzw. ewaluacja ex ante), w trakcie realizacji interwencji (ewaluacja on-going), oraz po jej zakończeniu (ewaluacja ex post).
W przypadku SOR nie można jeszcze mówić, ani o realizacji, ani o zakończeniu realizacji strategii. Można zatem jedynie mówić o ewaluacji ex ante. Taka próba została podjęta w końcu maja br. przez Ministerstwo Rozwoju.
Nowy model rozwoju
Z perspektywy osoby, która nie starała się o realizację tego zlecenia, można zadać pięć powiązanych pytań, na które należałoby uzyskać odpowiedzi, jeżeli proces uczenia się instytucji publicznych ma być trwałą praktyką.
Pytanie 1. Czy ewaluacja miała być raczej wsparciem dla administracji, czy raczej spełnieniem wymogu formalnego? Tak zamawiający uzasadnia przeprowadzenie ewaluacji:
• „Potrzeba przeprowadzenia zewnętrznej ewaluacji ex ante strategii, wynika z konieczności uwzględnienia w pracach nad strategią wiedzy i opinii ekspertów, spoza administracji publicznej”
• „Proces ewaluacji ex ante wynika także z obowiązku prawnego przeprowadzenia tego typu badania. Ustawa z 6 grudnia 2006 r. o zasadach prowadzenia polityki rozwoju, wskazuje w Art. 10a pkt 1 na obowiązek przygotowania, przed przyjęciem strategii rozwoju, raportu zawierającego uprzednią (ex ante) ewaluację skuteczności oraz efektywności realizacji strategii”.
Pytanie 2. Co w istocie miało być celem zamówienia? Cel ewaluacji określono jako „dokonanie oceny logiki interwencji przyjętej w ramach Strategii na rzecz Odpowiedzialnego Rozwoju oraz wypracowanie aplikowalnych rekomendacji, dotyczących pożądanych zmian projektu dokumentu”. Przy tym zakres przedmiotowy, to „ocena najbardziej aktualnych na danym etapie programowania projektu SOR (i ew. jej założeń)”. Przyjęto, że MR ma uzyskać odpowiedzi na pięć pytań w ramach trzech modułów oceny (trafności i spójności wewnętrznej; spójności zewnętrznej; systemu realizacji). Pytania znajdują się w poniższej tabeli.
Pytanie 3. Jakiego poziomu założeń dotyczyć miała ewaluacja? W „Szczegółowych warunkach zamówienia” czytamy, że prace nad strategią „będą koncentrowały się na wypracowaniu – w oparciu o przygotowany Plan – założeń, a następnie projektu SOR, przedstawiającej nowy model rozwoju – wizję strategiczną, zasady, cele i priorytety rozwoju kraju w wymiarze gospodarczym, społecznym, a także przestrzennym, w perspektywie lat 2020/2023 oraz 2030.” Czy należy przez to rozumieć założenia i spójność na poziomie operacyjnym, czy też założeń generalnych?
Poszukiwanie afirmacji
Pytanie 4. W kontekście pytania 2. i 3., nasuwa się kolejne, jakie znaczenie ma ewaluacja w procesie ustalania strategii? Czy chodzi o potwierdzenie słuszności pierwotnych założeń? Raport z ewaluacji miał powstać do 120 dni od daty zawarcia umowy. Oto chronologia wydarzeń:
• 18.11.2015 – Premier Beata Szydło zarysowuje ogólne kierunki rozwoju kraju w swoim exposé.
• 16.02.2016 – Wicepremier Mateusz Morawiecki ogłasza Plan na rzecz Odpowiedzialnego Rozwoju
• 11.05.2016 – przedstawiono „Założenia Strategii na rzecz Odpowiedzialnego Rozwoju”
• 12.05.2016 – opublikowano ogłoszenie o zamówienie na „Wykonanie badania ewaluacyjnego pt. Ewaluacja ex ante Strategii na rzecz Odpowiedzialnego Rozwoju (Numer ogłoszenia: 119060 – 2016)”. Termin składania ofert ustalono najpierw na 30 maja, następnie na 3 czerwca.
• 29.07.2016 – ukazuje się „Strategia na rzecz odpowiedzialnego rozwoju – wersja do konsultacji społecznych”.
• 05.08.2016 – udzielenie zamówienia (http://firma.pb.pl/4618452,50163,wykonanie-badania-ewaluacyjnego-pt-ewaluacja-ex-ante-strategii-na-rzecz-odpowiedzialnego-rozwoju)
• 05.-30.09.2016 – trwają konsultacje w powiatach
• 14.12.2016 – zakładany termin ukończenia prac nad zamawianą ewaluacją ex ante.
Brak konfrontacji o obiektywizacji
Pytanie 5. Dlaczego zdecydowano się na zamówienie badania tylko u jednej grupy ekspertów? Jeżeli w istocie zależało zamawiającemu na podniesieniu jakości finalnego dokumentu, należałoby wprowadzić rozwiązanie, w którym ocena byłaby dokonana przez kilka zespołów, być może o różnych kompetencjach, i być może o alternatywnych punktach widzenia, na podejmowane zagadnienia. Konfrontacja logiki SOR z logiką tylko jednego zespołu, nie pozwala na wyczerpujące formułowanie wniosków na temat zasadności założeń, ich spójności, oraz oceny systemu realizacji. Pozwala jedynie na próbę rozwiązania dylematu, który można sformułować jako „przyjęcie uwagi/odrzucenie uwagi” ewaluatora. Uzyskując ocenę od więcej niż jeden zespół, uzyskuje się wiedzę na temat alternatywnych perspektyw, które mogą, ale wcale nie muszą, być zbieżne pod względem merytorycznym.
Oprócz pięciu łyżek miodu, jest jednak i łyżka dziegciu…
Holistyczne podejście
W kontekście postulatów FIBRE cieszy fakt, że administracja zamówiła opracowanie narzędzi, pozwalających na ujęcie procesów całościowo (patrz numery 3-6/2016 „FIBRE”). W zamówieniu założono bowiem, że „analizie i ocenie związków przyczynowo-skutkowych pomiędzy zaplanowanymi działaniami oraz oczekiwanymi efektami […]”, powinny towarzyszyć „diagramy obrazujące związki przyczynowo-skutkowe, zachodzące pomiędzy zaplanowanymi w ramach SOR działaniami a oczekiwanymi efektami”, które „powinny przedstawiać rekomendowane przez ewaluatora modele logiczne (tzn. diagramy uwzględniające wnioski, a także rekomendacje ustalone w toku badania), oraz zawierać szczegółowy opis związków przyczynowo-skutkowych, wraz z odniesieniem do wyników badań naukowych/ewaluacyjnych/teorii społeczno-ekonomicznych. Oby zatem nowe (całościowe/systemowe) na stałe zagościło w praktyce polskiego planowania strategicznego.
Krzysztof Kasianiuk