Czy ujawniać badanym co mierzymy cd.

Ostatnio pisałem na temat tego, czy badanym warto ujawniać, jakie wymiary będą mierzone w trakcie sesji Assessment/ Development Centre. Jeśli mieliście okazje przeczytać tamten post, to wiecie, że jestem na tak. Uważam, że warto ujawniać co mierzymy. Takie podejście daje pewne plusy, a wątpliwości rozwiewają badania realizowane w tym temacie.

Aby wzmocnić tę tezę opowiem wam o moich doświadczeniach z realizacji sesji Development & Learning Centre (DLC).

Najpierw wyjaśnienie, co to takiego. Generalnie do tej pory panuje dość spore zamieszanie dotyczące nazewnictwa Assessment Centre/ Development Centre. Co osoba zajmująca się tym tematem, to inne zdanie czym Assessment Centre (AC), a czym Development Centre (DC) jest. Ja przyjmuję rozróżnienie po celu działania. AC ma cel selekcyjny. DC ma cel rozwojowy. Ich struktura jest natomiast bardzo podobna. Badany zarówno w AC jak i DC wykonuje określone ćwiczenia symulacyjne, w trakcie których jest przez wykwalifikowanych asesorów oceniany pod kątem kompetencji. Do tego najczęściej jest dołączony wywiad oraz bateria testów.

DLC posiada także cel rozwojowy, ale strukturalnie różni się od DC tym, że pomiędzy ćwiczeniami symulacyjnymi, osoba badana otrzymuje od asesorów informację zwrotną na temat tego jak „wypadła” do tej pory i co może zmienić w kolejnych symulacjach. Daje to uczestnikom DLC możliwość eksperymentowania w kolejnych zadaniach i, teoretycznie, możliwość uzyskiwania coraz lepszych wyników w kolejnych symulacjach.

Osobiście jestem fanem DLC. Uczestnicy takich sesji również bardzo często wskazują na ich wysoką przydatność i nowy sposób rozwoju kompetencji.

Ale jeden fakt nieco mnie zastanawia.

Od razu zastrzegę, że moje wnioskowanie oparte jest na obserwacji, a nie twardych danych liczbowych. Zatem można je traktować jako hipotezę, która powinna być zweryfikowana w rzetelnych badaniach. Do rzeczy jednak.

Teoretycznie, osoby badane po sesji informacji zwrotnej powinny w kolejnych symulacjach prezentować zachowania z wyższych poziomów kompetencji. Mówiąc po ludzku, coraz lepiej sobie z zadaniami radzić. Szkopuł w tym, że… wcale tak nie jest. Niektórzy, owszem, poprawiają się po uzyskaniu informacji zwrotnej. Istnieje też spora grupa, która się nie poprawia. A co najdziwniejsze, niemała liczba uczestników DLC, uzyskuje gorsze wyniki w zadaniach realizowanych po sesji informacji zwrotnej niż przed.

Poszukajmy wyjaśnienia tego stanu rzeczy.

Pierwsze jakie się nasuwa, jest takie, że coś nie tak musi być z informacjami zwrotnymi udzielanymi przez asesorów. Może słaby asesor po prostu? Ale z moich obserwacji wynika, że dzieje się tak w przypadku wszystkich asesorów. Czynnik, nazwijmy go asesorskim, wygląda na to, że nie gra istotnej roli.

A może w takim razie zmęczenie? Ludzie w kolejnych zadaniach generalnie wypadają gorzej, bo sesje DLC są wymagające i wyczerpujące. Efekt pogorszenia wyników jest niwelowany przez informację zwrotną, tak że ostatecznie zadania przed i po informacji zwrotnej są na podobnym poziomie. Tą hipotezę łatwo sprawdzić. Dowodem na jej prawdziwość byłby spadek wyników wraz z kolejnymi zadaniami realizowanymi w formule AC lub DC, bez sesji informacji zwrotnych pomiędzy zadaniami. Niestety taki spadek nie jest dowiedziony.

Zatem co może być przyczyną?

Trzecia hipoteza przemawia do mnie najbardziej i jest spójna z przekonaniem, że wiedza o tym co jest mierzone, nie wpływa istotnie na to, czy ktoś lepiej, czy gorzej sobie radzi z zadaniami symulacyjnymi w trakcie AC, DC czy DLC. Otóż, co tak naprawdę dowiaduje się uczestnik DLC w trakcie sesji informacji zwrotnej pomiędzy zadaniami? Dowiaduje się właśnie jakie kompetencje są mierzone i jakie zachowania z tychże kompetencji w poprzednich zadaniach ujawnił. W trakcie sesji informacji zwrotnej nie nabywa nagle nowych umiejętności, czy tychże kompetencji. Nabywa jedynie wiedzę o tym, co jest OK., a co nie jest OK. w tym co zrobił. Zadania po sesji informacji zwrotnej nam pokazują, że wiedza generalnie nie jest wystarczającym czynnikiem, aby doskonalić swoje kompetencje.

Występuje natomiast zmienność wśród uczestników DLC w zakresie poprawy wyników w kolejnych zadaniach. Tak jak pisałem, niektórzy radzą sobie lepiej w kolejnych zadaniach, niektórzy tak samo a niektórzy gorzej. To wspiera twierdzenie, że wiedza o mierzonych wymiarach zwiększa trafność teoretyczną pomiaru w AC, DC lub DLC. Trafność teoretyczna dotyczy tego, czy mierzymy właśnie to, co mierzyć powinniśmy, a nie coś innego. Jeśli badani wiedzą, co mierzymy, wówczas dopasowują swoje zachowania tak, aby ujawniać zachowania właśnie z tych kompetencji. Jak się okazuje, wcale to nie poprawia ogólnie ich wyników, ale za to zwiększa naszą trafność pomiaru.

Powtórzę zatem jeszcze raz. Warto ujawniać co mierzymy. Badani nie osiągną dzięki tej wiedzy lepszych rezultatów, ale za to ujawnią nam zachowania, właśnie z tych kompetencji, które mierzymy.