logo firmy

Główna treść strony

Jak poprawić wartość prognostyczną metody assessment centre?

Źródło: www.sxc.hu
Assessment center i development center. Czy popularność idzie w parze z jakością? Dr Victor Wekselberg, Dyrektor Działu Doradztwa Organizacyjnego w Instytucie Rozwoju Biznesu

Assessment center i development center (AC/DC) jako narzędzia selekcyjno-rozwojowe stały się bardzo popularne w ciągu ostatniej dekady. Powstaje pytanie, czy ich szerokie stosowanie w Polsce idzie w parze z jakością ich przygotowania i stosowania. Wątpliwości rodzą się, gdy uświadomimy sobie fakt, że firmy i ich specjaliści nie słyszeli o światowych standardach dla AC/DC. A międzynarodowe standardy („Wytyczne i zasady etyczne stosowania metody assessment center” International Task Force on Assessment Center Guidelines) są publikowane od ponad 20 lat. Ostatnia wersja dokumentu pochodzi z 2000 roku. Szczegółowo opisuje zasady przygotowywania i stosowania AC/DC. Dokument został przygotowany przez międzynarodową grupę dziewięciu ekspertów i jest już czwartą wersją „Guidelines” (poprzednie: 1975, 1979, 1989). Przetłumaczone „Wytyczne” umieściliśmy na naszej stronie prawie dwa lata temu.
         Najważniejszą częścią dokumentu jest lista dziesięciu niezbędnych elementów AC. Poniżej krótkie cytaty z „Wytycznych” oraz hipotezy na temat prawdopodobnej sytuacji w Polsce. Hipotezy te oparte są na naszej znajomości praktyk konsultacyjnych w Polsce. Instytut przygotowuje badanie, które podda empirycznej weryfikacji przedstawione niżej hipotezy.

1. Analiza stanowiska pracy.Należy ją przeprowadzić na poziomie zachowań, aby określić wymiary, kompetencje, atrybuty i wskaźniki efektywności na danym stanowisku, za pomocą których stwierdza się, co ośrodek oceny powinien oceniać.
    W Polsce firmy świadczące usługi AC/DC zwykle oferują zestaw kompetencji oraz ćwiczeń do ich pomiaru. Nie dokonuje się formalnej analizy stanowiska pracy, a kompetencje są dobierane w sposób nieudokumentowany.

2. Klasyfikacja behawioralna. Zachowania obserwowane u uczestników należy klasyfikować w jasne i odpowiednie kategorie, np. wymiary, atrybuty, charakterystyki, zdolności, umiejętności, kompetencje, wiedza.
        Zwykle w Polsce wymiary i kompetencje są opisywane przy pomocy zachowań, ale nie sprawdza się empirycznie związku pomiędzy kompetencjami a zachowaniami.

3. Techniki oceny. Techniki stosowane w ośrodku oceny muszą być opracowane w sposób zapewniający uzyskanie za ich pomocą informacji niezbędnych do oceny wymiarów wybranych uprzednio na podstawie analizy stanowiska pracy. Twórcy ośrodków oceny powinni ustalić związki pomiędzy zachowaniami, kompetencjami oraz technikami ćwiczeń/ocen. Związki te powinny być udokumentowane w macierzy zestawiającej kompetencje i techniki ćwiczeń/oceny.
        Nie ustala się systematycznie związku pomiędzy kompetencjami a ćwiczeniami, lecz raczej arbitralnie przyjmuje się, że jakaś kompetencja może być zaobserwowana w danym ćwiczeniu.

4. Wielostronna ocena. Należy stosować połączenie różnych technik oceny. Mogą one obejmować testy, wywiady, kwestionariusze, narzędzia socjometryczne oraz symulacje.
        Inne techniki niż symulacje stosuje się w Polsce rzadko i zwykle mierzą one inne kompetencje niż te, które są mierzone przy pomocy ćwiczeń.

5. Symulacje. Techniki oceny muszą zawierać odpowiednią liczbę symulacji ściśle związanych ze stanowiskiem pracy (job-related), dających możliwość obserwacji zachowań kandydata, reprezentujących każdą z ocenianych kompetencji/wymiarów. Każdy ośrodek oceny musi zawierać przynajmniej jedną symulację związaną ze stanowiskiem pracy, przy czym zazwyczaj zawiera ich kilka.
         Prawdopodobnie ten wymóg nie jest uwzględniany, a głównie dlatego, że nie dostosowuje się ćwiczeń (nazywanych często w Polsce zadaniami) do poszczególnych stanowisk.

6. Asesorzy. Konieczne jest wykorzystanie kilku asesorów, którzy będą obserwować i oceniać każdą osobę ocenianą. Typową proporcją jest dwóch ocenianych na jednego oceniającego.
         Jest wiele przykładów stosowania AC w Polsce, gdy nie korzysta się z dwóch asesorów, obserwujących i oceniających tę samą osobę. Znamy jeden przypadek AC, w którym uczestniczyło w jednej grupie ocenianej 15 osób.

7. Szkolenia asesorów. Asesorzy przed dopuszczeniem do uczestnictwa w ośrodku oceny muszą odbyć dogłębne szkolenia i uzyskać poziom wykonania zgodny z wytycznymi zawartymi w dziale „Szkolenia asesorów”.
         Szkolenie asesorów w Polsce najprawdopodobniej nie realizuje wszystkich dziewięciu wymaganych celów, które wymienione są w „Wytycznych”. Na przykład, jest wątpliwe, czy realizuje się następujący cel: „…udokumentowana umiejętność obserwacji, rejestracji i klasyfikacji zachowania w formie wymiarów”.

8. Rejestracja zachowań. Asesorzy muszą stosować usystematyzowaną procedurę rejestracji konkretnych obserwacji behawioralnych w chwili obserwacji. Procedura ta może obejmować takie techniki, jak notatki odręczne, skale obserwacji behawioralnej lub behawioralne „listy kontrolne” (checklist).
         W Polsce dominuje rejestracja zachowań w formie notatek, a dużo rzadziej stosuje się listy kontrolne. Ważnym jednak uchybieniem jest fakt, że asesorzy zwykle nie oceniają kompetencji uczestników po każdym ćwiczeniu.

9. Raporty. Osoby oceniające muszą sporządzić raport z obserwacji poczynionych podczas każdego ćwiczenia przed dyskusją integracyjną lub integracją statystyczną.
         W Polsce takie raporty zawierają zwykle listę zaobserwowanych zachowań, ale nie oceny poszczególnych kompetencji.

10. Integracja danych. Integracja zachowań musi być oparta na zgromadzeniu informacji od asesorów (pooling) lub procesie integracji statystycznej, zwalidowanym zgodnie z profesjonalnymi standardami. Podczas dyskusji integracyjnej każdego z wymiarów osoby oceniające powinny przekazać informacje pochodzące z oceny zachowania podczas symulacji, natomiast nie powinny zdawać relacji nie związanych z celem procesu oceny.
         W trakcie spotkań integracyjnych dyskutowane są zwykle tylko zachowania, ponieważ asesorzy nie dokonują ocen po każdym ćwiczeniu.

„Wytyczne” stawiają także jasne wymagania dotyczące walidacji:
W sformułowaniu regulaminu należy wskazać stosowany model walidacji. Jeżeli w ramach walidacji badana jest trafność treściowa (content-oriented validity), wówczas należy przedstawić dokumentację opisującą związek pomiędzy treścią stanowiska/grupy stanowisk a wymiarami i ćwiczeniami, a także dowody rzetelności obserwacji i oceny zachowania. […] Jeżeli w danym wypadku przeprowadzone zostało badanie trafności prognostycznej (criterion-related validity), wówczas należy przedstawić pełną dokumentację badania. Jeśli badania uzasadniające są dopiero w fazie przygotowań, należy sporządzić harmonogram wskazujący termin, w którym dostępny będzie raport z walidacji.

A Polsce większość ludzi korzystających z tych metod jest przekonana (np. 76 proc. trenerów wśród 110 respondentów), że AC ma bardzo wysoką wartość prognostyczną. W najlepszym wypadku przekonanie to jest oparte na wynikach badań przeprowadzonych poza Polską. A jeśli jest prawdą, że w Polsce nie stosuje się wszystkich wytycznych, to jest całkiem prawdopodobne, że w naszym kraju AC nie ma wysokiej wartości prognostycznej.

Ponieważ w Polsce nie ma badań na temat AC, może warto przyjrzeć się wynikom badań przeprowadzanych w innych krajach. Jednym z problemów, dosyć szeroko badanym w Europie i USA, jest to, czy rzeczywiście AC pozwala na zmierzenie kompetencji. Zaś jednym ze sposobów sprawdzenia tego założenia jest porównanie korelacji pomiędzy kompetencjami mierzonymi w różnych ćwiczeniach a korelacjami pomiędzy kompetencjami w jednym ćwiczeniu. Jeśli asesorzy oceniają poszczególne kompetencje, a nie ogólną sprawność w danym ćwiczeniu, to korelacje pomiędzy ćwiczeniami dla poszczególnych kompetencji powinny być wyższe niż korelacje pomiędzy kompetencjami w ramach poszczególnych ćwiczeń. Jeśli tak nie jest, to asesorzy oceniają po prostu jakość pracy w poszczególnych ćwiczeniach (ogólne wrażenie), a nie specyficzne kompetencje. Badania robione poza Polską pokazują, że w wielu systemach AC tak się właśnie dzieje.

Jeśli nawet część z przedstawionych tu hipotez o sytuacji AC w Polsce jest prawdziwa, to czas najwyższy zweryfikować sposób realizacji AC/DC w naszym kraju. Pomocne byłoby dostrzeżenie, że jest to bardzo trudna metoda oceny oraz że bez udziału odpowiednio przygotowanego psychologa nie uda się zastosować do wszystkich wytycznych.

Dr Victor Wekselberg

Absolwent Instytutu Psychologii na Uniwersytecie Wrocławskim (1975) i studiów podyplomowych z socjologii organizacji (Uniwersytet Warszawski, 1980). Tytuł doktora psychologii organizacji uzyskał w 1989 roku w Stevens Institute of Technology, Hoboken, NJ, USA. Adiunkt w Szkole Wyższej Psychologii Społecznej w latach 1997-2001, wcześniej assistant professor na Wydziale Psychologii w University of Southern Mississippi, Hattiesburg, MS, USA. Od 2006 roku dyrektor działów: Doradztwo Organizacyjne i Zarządzanie Kapitałem Ludzkim w Instytucie Rozwoju Biznesu.

Praktyk biznesu, ekspert w dziedzinie psychologii pracy i organizacji, senior konsultant i trener. Opracował i wdrożył wiele projektów z tego zakresu, realizowanych m.in. w Stanach Zjednoczonych, Serbii, Chorwacji i Polsce. Współpracował m.in. z takimi organizacjami, jak: American's Development Foundation, AT&T Corporate Headquarters, Chemonics Int., USAID w Chorwacji, Ministerstwo Spraw Wewnętrznych i Administracji, Konfederacja Polskich Pracodawców Prywatnych, KGHM Polska Miedź, Kuczek & Maruta Firma Prawnicza i wieloma innymi.

Victor Wekselberg jest autorem i współautorem wielu publikacji, w tym podręczników, monografii, artykułów specjalistycznych i recenzji, wydanych przez polskie i zagraniczne wydawnictwa.

Specjalizacje doradcze i trenerskie: programy Assessment i Development Center, systemy oceny pracowników, analiza stanowisk i budowanie modeli kompetencyjnych, badanie motywacji pracowniczej, rekrutacja i selekcja, budowanie zespołów, zarządzanie zmianą, komunikacja w organizacji, audyt komunikacyjny, coaching, indywidualne programy diagnostyczno - doradcze dla menedżerów, audyt menedżerski, diagnoza organizacji, badania ankietowe pracowników.


Dr Victor Wekselberg, Dyrektor Działu Doradztwa Organizacyjnego w Instytucie Rozwoju Biznesu