VERIFY FAQ

 

1.      Jak duża jest pula zadań Verify?

 

Nie możemy podać dokładnej liczby zadań ze względów komercyjnych oraz bezpieczeństwa. W każdej wersji językowej jest co najmniej kilkaset pozycji testowych i co najmniej tysiąc kombinacji równoległych testów.

 

2.      Czy są polskie normy do Verify?

 

W tym momencie ważne jest oderwanie się od myślenia w kontekście klasycznej teorii testów. W teorii IRT zamiast mówić o wyniku testowym, mówimy o wynikach, a jeszcze konkretniej o właściwościach poszczególnych zadań w teście.

A zatem, ze względu na wykorzystanie nowej teorii nie ma potrzeby tworzenia norm oddzielnie dla każdego kraju. W procesie tworzenia, a w zasadzie adaptowania zadań Verify, stworzone zostały pozycje tzw. uniwersalne kulturowo. Oznacza to, że zadania, jakie wykonują kandydaci różnych narodowości mają bardzo podobne właściwości/charakterystyki psychometryczne tj. moc dyskryminacyjna i trudność zadań.

Polskie zadania, ich adekwatność, rzetelność zostały przebadane na grupie polskiej. Natomiast ze względu na to, że różnice we właściwościach pozycji testowych różnych wersji językowych nie są istotne statystycznie, można je wszystkie potraktować równorzędnie, tworząc międzynarodową grupę porównawczą. Ze względu na to, że w zasadzie każdy kandydat rozwiązuje inny test, nie możemy tak jak do tej pory porównywać wyniku całego testu do wyników grupy porównawczej. To co jest przedmiotem porównania, to właściwości poszczególnych zadań i fakt, czy kandydat odpowiedział na nie prawidłowo, czy też nie.

 

3.      Czy do czterech poziomów trudności (na których występuje Verify) mamy osobną grupę porównawczą? Jeśli tak, to jaka jest to grupa?

 

Przy tworzeniu norm, brano pod uwagę przede wszystkim poziom wykształcenia oraz sektor biznesowy, w którym pracowali kandydaci. Do poziomu wykształcenia dopasowane zostały poziomy trudności zadań testowych (4 poziomy: administracyjny i operacyjny wymagają niższego i średniego wykształcenia, poziom absolwencki i menedżerski wyższego, ewentualnie średniego wykształcenia). Porównując wyniki kandydatów uzyskano również różnice w wymaganym poziomie zdolności w zależności od sektora biznesowego, w którym zatrudniony jest kandydat. Stąd normy podzielone zostały na 4 sektory biznesowe w obrębie każdego poziomu testu. Istnieje także możliwość wybrania populacji ogólnej jako grupy porównawczej, którą tworzą wyniki wszystkich kandydatów, którzy rozwiązali testy. A zatem istnieją normy dla każdego poziomu testu w podziale na sektory biznesowe oraz normy dla populacji generalnej.

Grupa porównawcza dla testów numerycznych i werbalnych składa się z 8436 osób.

Grupę porównawczą dla testu indukcyjnego tworzy 7969 osób.

 

4.      Czy w wersji online możliwe jest sprawdzenie wyników surowych osoby badanej (ile zadań zostało wykonanych i ile poprawnie)? 
 

Nie ma potrzeby posiadania informacji o wyniku surowym testu (ilości poprawnie rozwiązanych zadań), gdyż nie daje nam on informacji na temat prawdziwego poziomu zdolności kandydata, zwłaszcza, że w kontekście nowej teorii na wynik całego testu wpływa nie tylko fakt, czy kandydat rozwiązał zadanie poprawnie czy nie, lecz również informacja o właściwościach tego zadania. Testy bazujące na teorii IRT pozwalają na bardziej precyzyjne oszacowanie prawdziwego poziomu zdolności kandydata.

Nie uzyskujemy również informacji na temat tempa pracy kandydata i jego dokładności. Tempo i dokładność pracy wpływają oczywiście na wyniki kandydata, nie świadczą jednak o poziomie zdolności, a raczej o sposobie pracy. W testach tradycyjnych, w których poziom trudności zadań był podobny (nie wzrastał wraz z kolejnymi zadaniami testu) mogliśmy porównywać, ile pozycji kandydat rozwiązał poprawnie w stosunku do wszystkich zadań w teście. W testach Verify, przy wzrastającym poziomie trudności zadań informacja ta nic nam nie daje, gdyż kandydat może rozwiązać powoli i dokładnie kilka zadań, ale zadania te nie mają jednakowego poziomu trudności. Zatem nie możemy traktować równorzędnie poszczególnych odpowiedzi kandydata. Wynik testu uwzględniający trudność zadań testowych pozwala rzetelniej określić poziom zdolności kandydata.

 

5.      Czy jest możliwość stworzenia normy tylko dla naszej firmy, na podstawie wyników naszych kandydatów?

 

Aby stworzyć normy do testów losowych, bazujących na teorii IRT potrzebna jest o wiele większa próba badanych, niż w przypadku testów tradycyjnych. Minimalna ilość kandydatów to 1000 osób, próba musi być losowa i reprezentatywna, aby jakiekolwiek porównania były zasadne. Proces tworzenia norm jest zatem o wiele bardziej czaso- i pracochłonny. Można oczekiwać, że dane dotyczące zadań testowych uzyskane w badaniach przeprowadzonych dla konkretnej firmy nie będą wykazywały istotnych statystycznie różnic z danymi otrzymanymi w badaniach przeprowadzonych na jeszcze większych losowych próbach osób badanych.

W przypadku, gdy firma chce dokonywać surowej selekcji kandydatów, można zalecić dobranie odpowiedniego poziomu testu oraz wyznaczenie wysokiego progu selekcyjnego.

 

6.      Część kandydatów chcemy testować testami papierowymi, a część online…
 

Niestety nie możemy zagwarantować, że porównania wyników otrzymanych w testach w wersji papierowej oraz online będą wystarczająco rzetelne, gdyż nie są to testy równoległe. Różnice na pewno nie będą duże, gdyż jedne i drugie testy określają poziom tych samych zdolności kandydata, możemy mieć jednak pewność że testy online uwzględniają przy tym więcej szczegółów i są bardziej precyzyjne.

Natomiast absolutnie nie ma możliwości weryfikowania testu online testem papierowym i odwrotnie, gdyż nie są to testy równoległe. Aby weryfikacja była możliwa do przeprowadzenia technicznie, oba testy musza zostać wykonane w wersji online.

 

7. Czy kandydat może przerwać wypełnianie testu i wrócić do niego po jakimś czasie?
 

Nie, czas upływa. 

 

8.      Czy stopień trudności zadań rośnie w miarę ich rozwiązywania?

Nie, poziom trudności ustala się już na etapie generowania/ładowania testu. Pozycje oczywiście mają zróżnicowany poziom trudności, od prostszych do trudniejszych, ale nie są na bieżąco dobierane w zależności od odpowiedzi kandydata.

 

9. Czy kandydat od razu otrzymuje wynik testu?

Wynik w postaci raportu otrzymuje Administrator testu (Klient). Klient sam decyduje o tym kiedy wynik ma trafić do kandydata.

 

10. Gdzie są przechowywane dane?

Dane przechowywane są w dwóch jednostkach. Główny serwer znajduje się w Bristol, zapasowy, zawierający aktualne kopie wszystkich danych mieści się w Rotherham. Posiadanie dwóch równorzędnych serwerów pozwala na bardzo szybkie przełączenie się na serwer dodatkowy w przypadku awarii głównego i przejęcie przez niego wszystkich funkcji.

 

11. Czy mogę importować i eksportować dane do i z systemu, np.tabelkę w Excel'u z nazwiskami kandydatów?

 

Tak. Istnieje też możliwość skorzystania z gotowego wzorca tabelki.

 

12. Czy należy zdobyć dodatkowe uprawnienia SHL aby stosować testy online Verify?

 

W przypadku osób, które przeszły szkolenie w SHL Polska w zakresie administracji i interpretacji testów umiejętności, nie ma konieczności dodatkowego przeszkolenia się.