Eksperci dla FRSE

Szukając inspiracji do działań ewaluacyjnych w czasie epidemii, natknęłam się na ciekawy artykuł Michaela Quinna Pattona, guru ewaluacji, autora koncepcji ewaluacji rozwojowej, który – co można bez przesady stwierdzić – od ponad 50 lat wpływa na kształtowanie kultury ewaluacyjnej na całym świecie. Dzieli się on swoimi przemyśleniami dotyczącymi ewaluacji oraz wpływu epidemii na jej postrzeganie i rolę, starając się wspomóc swoich kolegów po fachu w tym trudnym czasie. Oto, co proponuje:

1. Dostosuj plany i projekty ewaluacyjne do nowej sytuacji, bowiem najprawdopodobniej nie będzie możliwości ich zrealizowania w dotychczasowym kształcie. To fakt – doświadczam tego osobiście. Praktycznie żaden z moich projektów nie przebiega zgodnie z harmonogramem lub z założeniami metodologicznymi. Zmieniają się metody i zakres prowadzonej ewaluacji. Działania w większości przybierają formę pośrednią (wywiady twarzą w twarz są zastępowane rozmowami telefonicznymi czy spotkaniami internetowymi) lub są odwoływane (z uwagi na brak możliwości zorganizowania spotkania). Elementy projektów podlegających ewaluacji w związku z tym również się zmieniają, są redukowane i przenoszone w czasie.

2. Bądź proaktywny. Patton proponuje, żeby nie zakładać, że pandemia szybko minie, i w rezultacie nie czekać na jej koniec. Sugeruje nawiązanie kontaktu z osobami zamawiającymi ewaluację i przedyskutowanie wprowadzania korekt i planów awaryjnych. Odradza czekanie, aż osoby te same się z nami skontaktują. Ewaluacja to ostatnia rzecz przychodząca na myśl ludziom, którzy nie zajmują się jej prowadzeniem. Oni nie będą się zastanawiać, jak kryzys wpływa na ewaluację. Ważne, by zaoferować im pomoc w aktualizacji tego procesu. To niekoniecznie oznacza opóźnienie w gromadzeniu danych, co więcej – może nawet je przyspieszyć w związku z potrzebą uzyskania aktualnych informacji o skutkach pandemii.

3. Skup się na tym, co jest aktualnie użyteczne. Warto pokazać, jak ewaluację można wykorzystać do diagnozy bieżących problemów i do opracowania skutecznych rozwiązań tu i teraz.

4. Urealnij sposoby zbierania danych i „odpuść” perfekcjonizm metodologiczny. Patton postuluje, żeby nie rezygnować z prowadzenia ewaluacji tylko dlatego, że nie można zdobyć danych pogłębionych lub zebranych na dużych, reprezentatywnych próbach badawczych. Być może nie uda nam się zrealizować badań ilościowych i nie uzyskamy informacji umożliwiających przeprowadzenie analiz statystycznych, ale użyteczne dla nas mogą być dane jakościowe, uzyskane z małych, dobieranych celowo prób. Ważne, by prowadzić ewaluacje w czasie, w którym ich wyniki mogą ułatwić podejmowanie decyzji w obecnym kryzysie. Być może będą to procesy obejmujące mniejszy zakres informacji, ale i tak będzie to lepsze, niż badania zrealizowane zbyt późno, za to z zachowaniem wszelkich rygorów metodologicznych i oparte na dużej ilości danych.

5. Wszystko zmienia się w czasie kryzysu i nie ma sensu się temu opierać. Cele przedsięwzięcia szkoleniowego mogą się zmienić, miary jego skuteczności mogą się zmienić, grupy docelowe mogą się zmienić, metody implementacyjne mogą się zmienić. Oznacza to, że projekty ewaluacji, gromadzenie danych i terminy również powinny się zmienić. Takie podejście obserwuję w kontaktach z pracodawcami. Okazuje się, że część z zaplanowanych szkoleń w ogóle się nie odbędzie, a niektóre osoby poszukują takich kursów, które pozwolą im na przekwalifikowanie się lub na utrzymanie miejsc pracy (o czym jeszcze miesiąc wcześniej w ogóle nie myślały). W ślad za tym idą zmiany w moich planach ewaluacji tych szkoleń.

6. Włącz myślenie systemowe do analiz ewaluacyjnych, ale bądź też czuły na kontekst lokalny. Patton zauważa, że czas pandemii unaocznił nam, jak istotne są powiązania globalne oraz wpływanie różnych zjawisk na siebie – zdrowia, gospodarki, edukacji, rynku pracy. Ewaluator musi sobie zdawać sprawę z tych powiązań i uwzględniać je w swoich analizach, musi też pokazywać ich implikacje dla zjawisk i sytuacji lokalnych. Proponuje, by skorzystać z kryzysu i udoskonalić swoje umiejętności myślenia ewaluacyjnego, a tym samym zrozumieć, w jaki sposób globalne wzorce i trendy krzyżują się, wpływając na to, co się dzieje na poziomie lokalnym. To tylko część refleksji, którymi dzieli się Patton – więcej można znaleźć na stronie internetowej Blue Marble Evaluation¹. Twierdzi on ponadto, że trzeba przygotować się na ciężkie czasy dla ewaluacji – jego zdaniem budżety na badania zostaną zredukowane, gdyż zmniejszą się dostępne środki finansowe przeznaczane na „dobra luksusowe” (a za takie właśnie uznawana jest ewaluacja). Pojawia się jednak pytanie: jak planować działania projektowe bez uzyskania rzetelnej wiedzy chociażby o potrzebach odbiorców wsparcia? Czy rzeczywiście taka wiedza jest zbędnym (!) luksusem? Uważam, że badania ewaluacyjne będą pomocne w planowaniu nowych projektów oraz dostosowywaniu tych już realizowanych do nowych potrzeb i okoliczności. To właśnie w takich sytuacjach, które nas najbardziej zaskakują, potrzebne są rzetelne informacje, uzyskane z dobrze przeprowadzonych badań. Tutaj upatruję szansy dla ewaluacji – szansy, że będzie ona dobrem podstawowym, nie „luksusowym”.

Jako ewaluator obserwuję wiele realizowanych obecnie projektów rozwojowych i włos jeży mi się na głowie, czy uda się je doprowadzić do końca w takim kształcie, jak zakładano. Posypały się harmonogramy poszczególnych działań – szkoleń, konferencji, spotkań. Część z nich udało się przeprowadzić online, ale wiele jest „zawieszonych na kołku”. Patrzę również na cele tych projektów i zadaję sobie pytania: czy zidentyfikowane potrzeby są nadal aktualne? Czy sytuacja nie zweryfikowała priorytetów na tyle, że może zabraknąć chętnych na szkolenia bądź innego rodzaju działania edukacyjne? Jeżeli nawet tak nie będzie, to trzeba się zastanowić, czy omawiane treści okażą się rzeczywiście pomocne w rozwiązywaniu problemów, które skłoniły uczestników do wzięcia udziału w określonym projekcie. Konieczne jest również sprawdzenie, czy zidentyfikowane problemy są nadal aktualne i czy nie pojawiły się nowe, pilniejsze kwestie do rozwiązania. Widzę nadzieję w oczach realizatorów projektów, nadzieję, że „przecież zaraz świat wróci do normy” i „będzie można wszystko zrealizować zgodnie z planem, nieco przesuwając harmonogram”. Zastanawiam się, czy tak będzie – próbując się pocieszać, że tak…

Co w tej sytuacji z planowanymi ewaluacjami w projektach? Stwierdziłam, że muszę zweryfikować ich założenia, uwzględniając nową sytuację – i to nie tylko w kwestii czasu ich realizacji, ale przede wszystkim w zakresie poruszanych zagadnień badawczych. Zastanowiłam się, jak dalej prowadzić ewaluację, by uwzględniała nowe okoliczności realizacji projektów. Gdy obserwuję dotychczasową praktykę, widzę, że raczej dominowały strategie konkluzywne, skupione na podsumowywaniu efektów projektu, wręcz sprawozdawcze. Stosunkowo często też wykorzystywano podejścia ex ante, np. do badania potrzeb potencjalnych beneficjentów.

W czasach dużej niepewności i zmieniających się okoliczności zewnętrznych najbardziej użyteczna będzie ewaluacja formatywna. Umożliwia ona kształtowanie projektu (pod wpływem uzyskanych danych) w jego trakcie, a czasem nawet „ratowanie” przedsięwzięcia, tj. bieżące i możliwie szybkie dostarczanie informacji dotyczących wszystkich aspektów, które mogą wpłynąć na jego powodzenie lub niepowodzenie. Mogą to być: formy i metody realizacji działań projektowych, zakres merytoryczny, potrzeby i oczekiwania odbiorców, okoliczności towarzyszące realizacji projektu, zaangażowanie i kompetencje realizatorów, kontekst organizacyjny. Ewaluacja formatywna to podejście zorientowane na zmianę, dostarczające w trybie ciągłym informacje o zgodności lub niezgodności między oczekiwanym kierunkiem realizacji projektu a faktycznymi działaniami i tym, co można osiągnąć. Skupia się na analizowaniu słabych i mocnych stron, trudności, barier i nieprzewidzianych możliwości. Próbuje uporządkować chaos i znaleźć w nim szanse, które można wykorzystać dla dobra przedsięwzięcia.

Podsumowując – w projektach, które obecnie ewaluuję, najważniejsze wydaje mi się zbadanie, jak okoliczności pandemii wpłynęły na zmianę motywacji odbiorców do uczestnictwa w tego typu inicjatywach, a także sprawdzenie ich potrzeb. Nie można także zapominać o przyjrzeniu się harmonogramom.

Przypisy:

1. Patton, M. (2020). Evaluation Implications of the Coronavirus Global Health Pandemic Emergency, bit.ly/2EsdXET [dostęp: 28.07.2020].

Źródło: platforma EPALE https://epale.ec.europa.eu/pl