James D. Kirkpatrick i Wendy Kayser Kirkpatrick

ATD, 2016

Wydanie pierwsze: 2016

Wielokrotnie nagradzani autorzy i doradcy Jim i Wendy Kirkpatrick honorują ojca Jima, Dona Kirkpatricka, którego praca w latach 50. zainspirowała znaną metodę oceny szkoleń: Cztery Poziomy Kirkpatricka. Autorzy odnoszą się do zmian w kulturze miejsca pracy od czasu powstania metody, jednocześnie wyjaśniając, dlaczego podstawy – definicje poziomów i ich zastosowanie – pozostają takie same. Za pomocą przykładów i studiów przypadku autorzy podkreślają właściwy sposób wykorzystania modelu. Zapewniają niezbędne wyjaśnienie dla osób już zaznajomionych z metodą i najlepsze miejsce dla początkujących.

Streszczenie zostało przetłumaczone maszynowo (przepraszamy za niedoskonałości tłumaczenia) jako materiał na nasze wykłady motywacyjne.

Korzyści

• Przez dziesięciolecia użytkownicy źle rozumieli i niewłaściwie stosowali model oceny Kirkpatricka.
• Na całym świecie liderzy organizacji wyrażają niezadowolenie z wyników szkoleń.
• Zastosuj cztery poziomy Kirkpatricka w odwrotnej kolejności.
• Opracuj strategię i plan ewaluacji.
• Zbieraj dane i oceniaj swój program w trakcie i po jego zakończeniu.
• Zdefiniuj czynniki sukcesu szkolenia z interesariuszami. Nigdy nie zakładaj, że wiesz, czego chcą i co cenią interesariusze.
• Zaprojektuj instrumenty pomiarowe i wykorzystaj dane do ulepszenia swoich programów.

Podsumowanie

• Przez dziesięciolecia użytkownicy błędnie rozumieli i stosowali model ewaluacji Kirkpatricka.
• Pod koniec lat 50. doktorant Don Kirkpatrick opracował i opublikował cztery sposoby oceny zwrotu ze szkolenia. Te cztery poziomy oceny – reakcja, uczenie się, zachowanie i wyniki – stały się światowym standardem w branży szkoleniowej. Jednak osoby korzystające z pracy Kirkpatricka przez dziesięciolecia błędnie ją rozumiały i stosowały, co spowodowało, że większość organizacji nie była w stanie rozpoznać wartości programów szkoleniowych i rozwojowych.

• „Zaobserwowaliśmy, że wielu specjalistów ds. szkoleń twierdzi, że 'używa Kirkpatricka’, ale stosuje przestarzałe praktyki, które nie tworzą i nie demonstrują wartości organizacyjnej dzięki ich szkoleniom”.
• Syn i synowa Dona Kirkpatricka, Jim i Wendy Kirkpatrick, opracowali „New World Kirkpatrick Model (NWKM)”, który honoruje intencję Kirkpatricka, aby oceny szkoleń koncentrowały się na zmianie zachowań i wynikach.

• NWKM zachęca do rozpoczęcia od poziomu 4 reakcji i cofania się. Kładzie nacisk na rozpoczęcie pomiaru w pierwszym dniu i kontynuowanie pomiaru programu przez cały okres jego realizacji. Plan ewaluacji powinien obejmować potrzebne dane, sposób ich gromadzenia oraz środki pomiaru skuteczności i wyników szkolenia od samego początku.

• Na całym świecie liderzy organizacji wyrażają niezadowolenie z wyników szkoleń.
• Liderzy chcą wiedzieć, czy uczestnikom podobał się program lub czy czegoś się nauczyli – Poziomy 1 i 2. Muszą jednak wiedzieć, czy program zmienił zachowanie – poziom 3 – i poprawił kluczowe wyniki biznesowe – poziom 4.

• „Stopień, w jakim program jest oceniany, powinien odpowiadać jego znaczeniu lub kosztom dla organizacji”.
• Właściwa ewaluacja szkoleń daje wgląd w ulepszanie programów szkoleniowych i rozszerzanie korzyści na większą liczbę uczestników; pokazuje również zwrot z kosztów szkolenia. Przeprowadzenie czteropoziomowej ewaluacji wymaga czasu, wysiłku i pieniędzy, ale proces ten jest jasny i wykonalny. Oceń szkolenie pod kątem jego znaczenia dla sukcesu organizacji.

• Zastosuj cztery poziomy Kirkpatricka w odwrotnej kolejności.
• Zastosuj każdy z poziomów. Nie próbuj na przykład oceniać na poziomie 4, jeśli zebrałeś tylko dane dla poziomów 1 i 2.

• „Poziom 4: Wyniki” – Zidentyfikowane korzyści biznesowe wynikają ze szkolenia i powiązanych działań następczych oraz wsparcia. Zidentyfikuj cel na poziomie misji, taki jak zapewnienie wiodącego w branży poziomu obsługi klienta. Następnie należy określić wskaźniki, które napędzają ten wysoki poziom wyników – na przykład wyniki ankiet satysfakcji klientów, utrzymanie klientów itp.
• „Uzgodnienie wiodących wskaźników na początku projektu eliminuje potrzebę późniejszej próby udowodnienia wartości inicjatywy”.
• „Poziom 3: Zachowanie” – Zidentyfikuj kluczowe zachowania, które uczestnicy muszą przyjąć, aby osiągnąć środki, które napędzają wyniki na poziomie 4. Określ, czego uczniowie potrzebują, aby wykazywać te zachowania – takie jak wsparcie nadzorcze, zachęty, coaching lub sprzęt – i przekształć je w metryki. Po zakończeniu szkolenia uczestnicy wymagają wzmocnienia wyuczonych pojęć, aby zastosować je w swojej pracy. Dzięki wzmocnieniu można oczekiwać, że nawet 85% uczestników wykorzysta zdobytą wiedzę w pracy. Odpowiedzialność i uznanie za kontynuowanie nauki w pracy mają ogromny wpływ na ostateczny sukces szkolenia – napędzając wyniki na poziomie 4.
• „Poziom 2: Uczenie się” – ten poziom obejmuje zakres, w jakim uczestnicy uczą się tego, co zamierza szkolenie – w tym nowej wiedzy, umiejętności i nastawienia lub determinacji do zastosowania nowej nauki. Uczestnicy powinni ukończyć program ze znajomością tematu i umiejętnościami jego zastosowania. Powinni wierzyć w wartość programu i zobowiązać się do wykorzystania go w pracy. Transfer wiedzy i umiejętności rzadko okazuje się główną przeszkodą w zastosowaniu. Częściej uczniowie decydują się nie stosować tego, czego się uczą, ponieważ nie wierzą, że zmiana doprowadzi do poprawy i/lub ze względu na ich środowisko pracy, które może zniechęcać lub zniechęcać ich do zmiany zachowania.
• „Poziom 1 jest często nadmiernie przemyślany i przesadzony; to strata czasu i zasobów, które można by wykorzystać z większą korzyścią na innych poziomach”.
• „Poziom 1: Reakcja” – Zadowolenie i zaangażowanie uczestników w szkolenie oraz postrzeganie jego przydatności pomaga w nauce. Zrozumiałe jest, że większość organizacji ocenia większość swoich programów na poziomie 1. Niestety, zbyt wiele z nich koncentruje się na zadowoleniu uczestników, nie skupiając się na ważniejszej miarze, jaką jest to, czy uczestnicy wykorzystują zdobytą wiedzę. Organizacje oceniają tylko około jednej trzeciej sesji szkoleniowych na żywo i mniej niż 20% szkoleń online na poziomie 3. Brak pomiaru poziomów 3 i 4 od samego początku utrudnia organizacjom dostosowywanie i ulepszanie programów szkoleniowych.
• Opracuj strategię i plan oceny.
• Pozostań przy ankietach satysfakcji i, być może, pomiarach na poziomie 2 w celu oceny szkoleń, które nie mają kluczowego znaczenia dla misji. Tam, gdzie program szkoleniowy ma wpłynąć na kluczowe cele organizacyjne, należy zastosować pełną ewaluację. Zaprojektuj swój program tak, aby od samego początku zawierał podstawowe składniki sukcesu na poziomach 3 i 4.

• Rozpocznij planowanie na poziomie 4. Określ cele organizacyjne, do których odnosi się szkolenie. Wraz z liderami i interesariuszami uzgodnij, co stanowi sukces – ich „Return on Expectations (ROE)” – które następnie staną się krytycznymi czynnikami sukcesu. Podczas planowania skup się na budowaniu powiązań między poziomami 2 i 3. Jeśli osiągniesz solidne wyniki na poziomie 1, spodziewaj się, że osiągniesz naukę – poziom 2 – a jeśli uczestnicy wykorzystają naukę w pracy, aby osiągnąć zidentyfikowane czynniki, pojawią się pozytywne wyniki na poziomie 4. Dla większości organizacji i specjalistów ds. badań i rozwoju, przejście od poziomu 2 do poziomu 3 okazuje się najtrudniejsze do zbudowania.

• „Stały dostęp do uczestników jest kluczowym elementem, który należy wynegocjować przed rozpoczęciem programu i należy podkreślić jego znaczenie dla powodzenia programu”.
• Im dokładniej określisz, co uczestnicy muszą zrobić w pracy – krytyczne czynniki sukcesu – aby osiągnąć wynik na poziomie 4, tym lepiej. Ściśle współpracuj z menedżerami liniowymi, przełożonymi, wysokimi pracownikami i innymi osobami, jednocześnie zdobywając ich bardzo potrzebne wsparcie w zakresie wzmocnienia po zakończeniu programu. Zastanów się, czy szkolenie może sprostać wyzwaniom i celom, do których dążą interesariusze. Inne inicjatywy – od zmienionych zachęt po spotkania w ratuszu – mogą lepiej pasować do celu. Przyjmij perspektywę „konsultanta ds. wydajności”, a nie specjalisty ds. badań i rozwoju, oceniając stosowność interwencji szkoleniowych. Tam, gdzie szkolenie okazuje się najlepszą interwencją, ale istnieją przeszkody dla zastosowania poziomu 3, należy nalegać na usunięcie barier przed rozpoczęciem programu.

• Podczas planowania, a przed rozpoczęciem programu, poznaj niezbędne dane i sposób ich gromadzenia, dostosowany do każdego poziomu. Staraj się również łączyć poziomy. Na przykład, jeśli badasz uczestników pod kątem satysfakcji na poziomie 1, wstaw pytania, które informują o innych poziomach, na przykład pytając uczestników, w jaki sposób planują zastosować swoją naukę w pracy – poziom 2; w jaki sposób faktycznie zastosowali naukę – poziom 3; i wyniki – poziom 4. Należy dążyć do gromadzenia danych jakościowych i ilościowych w celu dostosowania i ulepszenia programu.

• „Uczestnicy szkolenia powinni przybyć na wydarzenie szkoleniowe z pozytywnym, jasnym przesłaniem dotyczącym celu szkolenia i tego, czego oczekuje się od nich w wyniku uczestnictwa”.
• Upewnij się, że Twoi interesariusze – liderzy i menedżerowie – przygotowują uczestników, komunikując znaczenie szkolenia i ich oczekiwania, że uczestnicy zastosują swoją nową wiedzę i umiejętności po powrocie. Podczas programu instruktorzy powinni wzmacniać to przesłanie i stale łączyć naukę z pracą. Po zakończeniu szkolenia menedżerowie muszą pozostać zaangażowani, aby potwierdzić swój entuzjazm i oczekiwania dotyczące wyników. Instruktorzy powinni sprawdzać, co uczestnicy wykorzystują w pracy, w jaki sposób wykorzystują zdobytą wiedzę i jakie są przeszkody w jej stosowaniu. Analiza tych wyników pokazuje, czy program jest zgodny z założeniami. Wraz z interesariuszami i absolwentami instruktorzy dzielą się wynikami i określają poprawki.

• Zbieraj dane i oceniaj swój program w trakcie i po jego zakończeniu.
• Na poziomie 1 obserwuj uczestników. Jeśli wydają się niezaangażowani, zatrzymaj się, omów wszelkie kwestie, a następnie wprowadź natychmiastowe zmiany. Oprócz ankiet oceniających satysfakcję po zakończeniu programu – najlepiej rozprowadzanych pod koniec zajęć/kursu – odczekaj krótki czas przed rozmową z uczestnikami, aby uchwycić głębsze szczegóły.

• „Podejście New World do oceny na poziomie 2 polega na włączeniu do szkolenia różnorodnych działań, które z natury sprawdzają wiedzę uczestników”.
• Zintegruj ocenę na poziomie 2 – wiedzę, umiejętności, postawę, pewność siebie i zaangażowanie – z programem. Oceniaj stopień biegłości uczestników podczas ćwiczeń. Wstaw quizy, dyskusje, odgrywanie ról lub symulacje, które pomogą ci ocenić przyrost wiedzy i umiejętności. Poproś uczestników o przedstawienie wyników dyskusji w małych grupach lub nauczanie elementów samego szkolenia. Poproś ich o opracowanie planów wykorzystania zdobytej wiedzy po powrocie do pracy. Obserwuj postawy uczestników, aby dowiedzieć się, czy uważają, że nauka jest istotna i wydaje się prawdopodobne, że z niej skorzystają. Tam, gdzie jest to stosowne i możliwe, wykorzystaj testy przed- i po-programowe do oceny przyrostu wiedzy. Zanotuj zyski z nauki, aby zgłosić je zainteresowanym stronom.

• „Kiedy menedżerowie wspierają szkolenia i uczących się, to działa. Kiedy tego nie robią, to nie działa”.
• Zwróć największą uwagę na poziom 3. Ściśle współpracuj z interesariuszami, aby wybrać i zdefiniować mierzalne czynniki sukcesu, które napędzają wynik na poziomie 4, oraz opracować plan zachęcania i monitorowania ich po zakończeniu programu. Unikaj żargonu szkoleniowego i zdobądź wsparcie menedżerów na tym etapie; w przeciwnym razie nie będziesz w stanie skutecznie ocenić wyników Poziomu 3 i 4.

• Zdefiniuj czynniki sukcesu szkolenia z interesariuszami. Nigdy nie zakładaj, że wiesz, czego chcą i co cenią interesariusze.
• Czynniki sukcesu powinny nadawać się do jasnego pomiaru. Zamiast stwierdzać na przykład: „Uczestnicy będą trenować wszystkich członków swojego zespołu”, zdefiniuj to dokładniej; na przykład: „Uczestnicy przeprowadzą 30, 60 i 90-dniowe, 30-minutowe sesje coachingowe z każdym ze swoich raportów po szkoleniu”. Upewnij się, że uczestnicy dokładnie wiedzą, czego Ty i ich menedżerowie oczekujecie od nich w pracy. Przed dokonaniem pomiaru należy odczekać odpowiednią ilość czasu, aby nowe zachowania się przyjęły.

• Chociaż powinieneś zainwestować najwięcej czasu w ocenę na poziomie 3, poziom 4 jest jedynym powodem, dla którego dokonujesz oceny. Szkolenie ma sens tylko wtedy, gdy przynosi wyniki – zwrot z inwestycji (ROI) i ROE. Postępy w odniesieniu do czynników sukcesu na poziomie 3 pomagają mierzyć i raportować postępy w odniesieniu do wyników na poziomie 4.

• Zaprojektuj instrumenty pomiarowe i wykorzystaj dane do ulepszenia swoich programów.
• Nie komplikuj nadmiernie swoich ocen. W ankietach maksymalizuj wskaźnik odpowiedzi i jakość odpowiedzi, zadając tylko pytania, które dostarczają informacji kluczowych dla oceny. Używaj dobrze oznaczonych skal odpowiedzi odpowiednich do pytań. Przejrzyj swoje ankiety z perspektywy zajętego ucznia i odpowiednio je popraw. Stosuj ten sam standard do wszystkich danych, koncentrując się na tym, co ważne – sygnale – i ignorując dane i środki, których nie potrzebujesz – szum.

• „Ciągłe doskonalenie wymaga ciągłej oceny”.
• Współpracuj z interesariuszami, aby potwierdzić, czy postępy poczynione w kierunku wyniku spełniają oczekiwania. Jeśli nie, wprowadź poprawki przed zakończeniem programu. Określ, które osoby uczące się – i w jakim stopniu – stosują naukę w pracy. Jeśli czynniki sukcesu na poziomie 3 wyglądają dobrze, dowiedz się dlaczego, abyś mógł powtórzyć ten sukces.

• Średnio program szkoleniowy prawdopodobnie przyniesie przeciętne wyniki. Wyniki na poziomie 4 zależą od niezliczonych czynników poza szkoleniem, więc nigdy nie będziesz mieć pewności, jaki wkład wniosło szkolenie. Znajdź uczestników, którzy osiągnęli najlepsze wyniki, przeprowadź z nimi wywiad i pracuj nad rozszerzeniem ich sukcesu na pozostałych uczestników i tych, którzy po nich nastąpią.

O autorach

• Wielokrotnie nagradzani autorzy i doradcy Jim i Wendy Kirkpatrick prowadzą Kirkpatrick Partners, gdzie konsultują się z dużymi klientami korporacyjnymi, rządowymi i wojskowymi.