Czy ujawniać badanym co mierzymy cd.

Ostatnio pisałem na temat tego, czy badanym warto ujawniać, jakie wymiary będą mierzone w trakcie sesji Assessment/ Development Centre. Jeśli mieliście okazje przeczytać tamten post, to wiecie, że jestem na tak. Uważam, że warto ujawniać co mierzymy. Takie podejście daje pewne plusy, a wątpliwości rozwiewają badania realizowane w tym temacie.

Aby wzmocnić tę tezę opowiem wam o moich doświadczeniach z realizacji sesji Development & Learning Centre (DLC).

Najpierw wyjaśnienie, co to takiego. Generalnie do tej pory panuje dość spore zamieszanie dotyczące nazewnictwa Assessment Centre/ Development Centre. Co osoba zajmująca się tym tematem, to inne zdanie czym Assessment Centre (AC), a czym Development Centre (DC) jest. Ja przyjmuję rozróżnienie po celu działania. AC ma cel selekcyjny. DC ma cel rozwojowy. Ich struktura jest natomiast bardzo podobna. Badany zarówno w AC jak i DC wykonuje określone ćwiczenia symulacyjne, w trakcie których jest przez wykwalifikowanych asesorów oceniany pod kątem kompetencji. Do tego najczęściej jest dołączony wywiad oraz bateria testów.

DLC posiada także cel rozwojowy, ale strukturalnie różni się od DC tym, że pomiędzy ćwiczeniami symulacyjnymi, osoba badana otrzymuje od asesorów informację zwrotną na temat tego jak „wypadła” do tej pory i co może zmienić w kolejnych symulacjach. Daje to uczestnikom DLC możliwość eksperymentowania w kolejnych zadaniach i, teoretycznie, możliwość uzyskiwania coraz lepszych wyników w kolejnych symulacjach.

Osobiście jestem fanem DLC. Uczestnicy takich sesji również bardzo często wskazują na ich wysoką przydatność i nowy sposób rozwoju kompetencji.

Ale jeden fakt nieco mnie zastanawia.

Od razu zastrzegę, że moje wnioskowanie oparte jest na obserwacji, a nie twardych danych liczbowych. Zatem można je traktować jako hipotezę, która powinna być zweryfikowana w rzetelnych badaniach. Do rzeczy jednak.

Teoretycznie, osoby badane po sesji informacji zwrotnej powinny w kolejnych symulacjach prezentować zachowania z wyższych poziomów kompetencji. Mówiąc po ludzku, coraz lepiej sobie z zadaniami radzić. Szkopuł w tym, że… wcale tak nie jest. Niektórzy, owszem, poprawiają się po uzyskaniu informacji zwrotnej. Istnieje też spora grupa, która się nie poprawia. A co najdziwniejsze, niemała liczba uczestników DLC, uzyskuje gorsze wyniki w zadaniach realizowanych po sesji informacji zwrotnej niż przed.

Poszukajmy wyjaśnienia tego stanu rzeczy.

Pierwsze jakie się nasuwa, jest takie, że coś nie tak musi być z informacjami zwrotnymi udzielanymi przez asesorów. Może słaby asesor po prostu? Ale z moich obserwacji wynika, że dzieje się tak w przypadku wszystkich asesorów. Czynnik, nazwijmy go asesorskim, wygląda na to, że nie gra istotnej roli.

A może w takim razie zmęczenie? Ludzie w kolejnych zadaniach generalnie wypadają gorzej, bo sesje DLC są wymagające i wyczerpujące. Efekt pogorszenia wyników jest niwelowany przez informację zwrotną, tak że ostatecznie zadania przed i po informacji zwrotnej są na podobnym poziomie. Tą hipotezę łatwo sprawdzić. Dowodem na jej prawdziwość byłby spadek wyników wraz z kolejnymi zadaniami realizowanymi w formule AC lub DC, bez sesji informacji zwrotnych pomiędzy zadaniami. Niestety taki spadek nie jest dowiedziony.

Zatem co może być przyczyną?

Trzecia hipoteza przemawia do mnie najbardziej i jest spójna z przekonaniem, że wiedza o tym co jest mierzone, nie wpływa istotnie na to, czy ktoś lepiej, czy gorzej sobie radzi z zadaniami symulacyjnymi w trakcie AC, DC czy DLC. Otóż, co tak naprawdę dowiaduje się uczestnik DLC w trakcie sesji informacji zwrotnej pomiędzy zadaniami? Dowiaduje się właśnie jakie kompetencje są mierzone i jakie zachowania z tychże kompetencji w poprzednich zadaniach ujawnił. W trakcie sesji informacji zwrotnej nie nabywa nagle nowych umiejętności, czy tychże kompetencji. Nabywa jedynie wiedzę o tym, co jest OK., a co nie jest OK. w tym co zrobił. Zadania po sesji informacji zwrotnej nam pokazują, że wiedza generalnie nie jest wystarczającym czynnikiem, aby doskonalić swoje kompetencje.

Występuje natomiast zmienność wśród uczestników DLC w zakresie poprawy wyników w kolejnych zadaniach. Tak jak pisałem, niektórzy radzą sobie lepiej w kolejnych zadaniach, niektórzy tak samo a niektórzy gorzej. To wspiera twierdzenie, że wiedza o mierzonych wymiarach zwiększa trafność teoretyczną pomiaru w AC, DC lub DLC. Trafność teoretyczna dotyczy tego, czy mierzymy właśnie to, co mierzyć powinniśmy, a nie coś innego. Jeśli badani wiedzą, co mierzymy, wówczas dopasowują swoje zachowania tak, aby ujawniać zachowania właśnie z tych kompetencji. Jak się okazuje, wcale to nie poprawia ogólnie ich wyników, ale za to zwiększa naszą trafność pomiaru.

Powtórzę zatem jeszcze raz. Warto ujawniać co mierzymy. Badani nie osiągną dzięki tej wiedzy lepszych rezultatów, ale za to ujawnią nam zachowania, właśnie z tych kompetencji, które mierzymy.

 

 

 

 

Czy ujawniać badanym co mierzymy?

 

Często w pracy z klientami zdarza mi się usłyszeć pytanie związane z tym, czy przed projektem Assessment/ Development Centre (AC/DC) warto badanym mówić, co konkretnie będzie mierzone. Niektórzy stoją na stanowisku, że absolutnie nie należy niczego uczestnikom AC/DC ujawniać. Argumentują, że takim przypadku będą oni mogli się do sesji lepiej przygotować i „specjalnie udawać, że mają dany poziom kompetencji”, kiedy w rzeczywistości tego poziomu nie posiadają. Jeśli zatem nie powiemy uczestnikom AC/DC jakie np. kompetencje będą mierzone w symulacjach, wówczas ich pomiar będzie trafniejszy. Kandydaci pokażą się „takimi jakimi faktycznie są”, niczego nie będą udawać.

Z drugiej strony mamy argumentację polegającą na odwołaniu się do idei transparentności procesu. Przecież, jak niektórzy wnioskują, model kompetencyjny na podstawie którego symulacje w AC/DC powinny się odbywać jest w organizacji jawny. Nie po to modele kompetencji budujemy, żeby HR je chował do szafy. Ma on być wskazówką dla pracowników, jak efektywnie działać, zatem musi być powszechnie wśród nich znany.

Ponadto ocena AC/DC jest testem wykonania, podobnie jak testy wiedzy lub zdolności. Przyjmując założenie, że ktoś udaje i chce się pokazać na AC/DC inaczej (lepiej) niż w rzeczywistości, to jeśli mu się ten zamiar powiedzie, to w istocie posiada właśnie ten poziom kompetencji. Jedyna możliwość „oszustwa” polega na tym, że ktoś specjalnie zaniża swój poziom (tak jak np. można celowo źle wypełnić test wiedzy), ale takie zachowanie raczej byłoby pozbawione sensu.

Mamy więc tu dwa odmienne stanowiska.

Być może warto się zastanowić nad celem oceny dokonywanej w AC/DC i ujawniać kompetencje tylko w przypadku projektów o charakterze rozwojowym? W przypadku selekcji natomiast, lepiej żeby kandydaci nie wiedzieli co jest mierzone?

Często ten dylemat osobom projektującym sesje AC/DC towarzyszy, warto więc zobaczyć co na ten temat mówią badania.

Są one dość konkluzywne, jeśli chodzi o odpowiedź na pytanie, czy uczestnikom AC/DC ujawniać, co będziemy w trakcie sesji mierzyć. Otóż, okazuje się, że w zdecydowanej większości badań, wyniki grup, które były informowane o mierzonych wymiarach nie różniły się istotnie od wyników grup, które nie wiedziały, co tak naprawdę w AC/DC było mierzone. Wyniki grup to po prostu średnie wyniki w kompetencjach.

W niektórych badaniach występowały natomiast różnice w trafności pomiaru. Jeśli badani byli informowani co jest mierzone, wówczas zachowywali się spójniej (co nie znaczy, że lepiej!) i pomiar poziomów mierzonych kompetencji był trafniejszy. Ale nie we wszystkich badaniach ten efekt wystąpił.

Zatem rekomendacja jest taka, żeby przed sesjami AC/DC (czy to w projektach selekcyjnych bądź rozwojowych) ujawniać kandydatom, co jest mierzone. Sama wiedza, jak się okazuje, nie wystarcza do tego, aby „lepiej” w AC/DC wypaść od innych kandydatów. Ponadto kandydaci mogą wówczas ujawniać zachowania z tych kompetencji, które właśnie są mierzone. Może to zapewniać lepszą jakość (trafność) pomiaru.

Inny wniosek jaki z tego płynie jest następujący. Jeśli wiedza kandydatów o tym, co jest w symulacjach AC/DC mierzone nie wpływa na ich wynik z rzeczonego AC/DC, to znaczy, że w symulacjach AC/DC są mierzone inne czynniki.

Jakie? Pewnie jest to temat na osobny wpis.