BADANIE TRAFNOŚCI TEORETYCZNEJ TESTU NA PRZYKŁADZIE KWESTIONARIUSZA OSOBOWOŚCI ZAWODOWEJ OPQ32

Duży rozmiar i tempo przeprowadzanych dziś procesów rekrutacji wymaga ułatwienia sobie zadania poprzez zastosowanie wielu metod pozwalających wyselekcjonować pożądanych kandydatów. Metody te, aby spełniły swoje zadanie, czyli pozwoliły wyłuskać spośród wszystkich aplikujących prawdziwe talenty muszą cechować się m.in. wysoką trafnością. Zatem ważne jest sprawdzenie, czy stosowane przez nas narzędzia (testy, kwestionariusze) zostały przebadane pod kątem tego co mierzą i co pozwalają przewidywać.

Spośród różnych rodzajów trafności przypatrzmy się jednemu z jej aspektów – trafności teoretycznej.

 

Co to jest trafność teoretyczna?

Badania trafności teoretycznej pozwalają udzielić odpowiedzi na pytanie, co tak naprawdę mierzy nasz test, bądź kwestionariusz. Na trafność teoretyczną narzędzi psychometrycznych można spojrzeć z różnych stron.

 

Po pierwsze, dowodem na to, co mierzy dany test jest wykazanie związku wyników testowych z wynikami innych narzędzi, badających te same lub podobne aspekty. Największą wartość przedstawiają jednak te badania, w których uda się wykazać, że wyniki naszych testów lub skal korelują z aspektami zbliżonymi, a nie korelują z odmiennymi, np. skala Towarzyski z kwestionariusza OPQ powinna wykazywać związki z Ekstrawersją, a z Sumiennością już nie, gdyby porównywać ją do narzędzia badającego cechy z tzw. Wielkiej Piątki.

 

Kolejnym aspektem trafności teoretycznej jest analiza wewnętrzna testu, czyli analiza wzajemnych korelacji poszczególnych zadań lub stwierdzeń w teście. Ponownie część skal powinna, a część nie powinna wykazywać powiązań. Wskazówek co do tego, jakich związków pomiędzy nimi możemy się spodziewać dostarcza nam teoria leżąca u podstaw naszego testu.

 

W końcu, trafność teoretyczną można także wykazać poprzez przeanalizowanie różnic występujących pomiędzy różnymi grupami ludzi, np. wyższych wyników w testach słownych spodziewamy się po humanistach, a w numerycznych – po umysłach ścisłych. Można także przeprowadzić eksperyment, w którym zmienimy jedną ze zmiennych i sprawdzimy, czy test jest wystarczająco wrażliwy, aby wykryć zmianę.

 

Poniższy opis dotyczy trafności polskiej wersji kwestionariusza OPQ32 w aspekcie pierwszym, czyli związku z innym narzędziem badającym zbliżone aspekty.

 

Krótki opis badania

Przedmiotem badania była polska wersja kwestionariusza OPQ32 oraz kwestionariusz kompetencji menedżerskich PMC wykorzystywany w badaniu 360 stopni. W badaniu wykorzystano dane zebrane od 43 osób (ze znaczącą przewagą mężczyzn 34:9), które wykonywały oba kwestionariusze na przestrzeni lat 2005-2008 w ramach oceny 360 stopni. Porównano dane z kwestionariusza z danymi z samooceny z kwestionariusza PMC.

 

Kwestionariusz PMC pozwala dokonać samooceny osoby badanej w odniesieniu do 36 kompetencji menedżerskich. Definicje kompetencji są dosyć wąskie i nie wszystkie odnoszą się do wymiarów badanych w kwestionariuszu OPQ32, np. (kompetencja „Świadomość połączeń funkcjonalnych” określająca raczej poziom wiedzy i orientację w stosunkach formalnych obowiązujących w firmie, nie powiązana bezpośrednio z żadną konkretną cechą osobowości).

 

Ze względu na wąskie definicje kompetencji kwestionariusza PMC oraz małą grupę osób badanych oczekiwano umiarkowanych korelacji pomiędzy poszczególnymi kompetencjami PMC oraz pojedynczymi skalami OPQ32.

 

Wyniki

Pomimo małej grupy osób badanych udało się wykazać powiązanie poszczególnych kompetencji ze skalami kwestionariusza. Poniżej zamieszczono szereg wniosków z uzyskanych wyników.

 

Wniosek 1

Osoby, które lubią krytycznie oceniać informacje i wyszukiwać błędy w napływających danych w sposób bardziej efektywny poszukują wszystkich dostępnych i użytecznych informacji oraz analizują je z różnych perspektyw (pozytywny związek skali PMC „Zbieranie informacji” ze skalą OPQ „Oceniający”).

 

Wniosek 2

Osoby, które postrzegają się jako skuteczne w zakresie szczegółowej analizy problemów  również wskazują, że lubią oceniać napływające informacje krytycznie  oraz w mniejszym stopniu lubią analizować zachowania i motywy innych ludzi (pozytywny związek skali PMC „Analiza problemów” ze skalą „Oceniający” i negatywny ze skalą „Behawioralny” z OPQ).

 

Wniosek 3

Osoby skuteczne w ustalaniu celów, tworzeniu szczegółowych planów i ustalaniu etapów działań preferują także bardziej metodyczną, systematyczną i zorganizowaną pracę oraz skupianie się na detalach (pozytywny związek skali PMC „Ustalanie celów” ze skalą „Metodyczny” z OPQ).

 

Wniosek 4

Osoby, które dobrze czują się w ustalaniu priorytetów, przygotowywaniu harmonogramów działań, kontroli realizacji celów lubią także przewodzić, brać na siebie odpowiedzialność i wskazywać innym, co należy robić (pozytywny związek skali PMC „Sprawowanie kontroli” ze skalą „Kontrolujący” z OPQ32).

 

Wniosek 5

Osoby wykazujące się wysoką świadomością organizacyjną opisują się jako przestrzegające reguł i przepisów, preferujące pracę w jasnych warunkach i nielubiące łamać norm (pozytywny związek skali PMC „Świadomość organizacyjna” ze skalą OPQ „Przestrzegający reguł”).

 

Wniosek 6

Osoby, które w kwestionariuszu PMC opisały się jako innowacyjne, występujące z nowymi i kreatywnymi pomysłami i proponującymi nowe podejścia lubią twórcze działania i generowanie nowych pomysłów (dodatni związek skali PMC „Innowacyjność” ze skalą OPQ „Innowacyjny”).

 

Wniosek 7

Osoby, które biorą odpowiedzialność za własny rozwój, dążą do szkolenia i rozwoju kariery i poszukują informacji zwrotnych na temat swojej pracy opisują się także jako bardziej ambitne i zorientowane na rozwój zawodowy (dodatni związek skali PMC „Rozwój kariery i samorozwój” ze skalą OPQ „Ambitny”).

 

Wniosek 8

Osoby niezależne, polegające na sobie, posiadające zaufanie do własnych zdolności i zdolne stawiać czoła opozycji opisują się w OPQ32 jako skłonne do postępowania zgodnie z akceptacją innych i przyjętymi zasadami (co prawdopodobnie pomaga im zachować pewność siebie, stwarzając jasne reguły postępowania) oraz do przekonywania, sprzedawania, negocjowania i wpływania na zmianę opinii innych (negatywny związek skali PMC „Pewność siebie” ze skalą OPQ „Niezależny” oraz pozytywny ze skalą „Perswadujący”).

 

Wniosek 9

Osoby, które potrafią wpływać na decyzje innych są mniej skłonne do konsultacji przy podejmowaniu decyzji (negatywny związek skali PMC „Umiejętność perswazji” ze skalą OPQ „Demokratyczny”).

 

Wniosek 10

Osoby skłonne do podejmowania decyzji i wybierania stanowczych kierunków działań opisują się w OPQ32 jako mniej chętne do konsultowania się przed podejmowaniem decyzji (ujemny związek skali PMC „Decyzyjność” ze skalą OPQ „Demokratyczny”).

 

Wniosek 11

Osoby, które potrafią z miejsca robić pozytywne wrażenie na ludziach, sprawiają wrażenie wiarygodnych i godnych zaufania opisują się w OPQ32 jako wyrobione towarzysko, czujące się pewnie w sytuacjach formalnych spotkań i poznając nowych ludzi oraz swobodnie wyrażające opinie czy krytykę (pozytywny związek kompetencji PMC „Wpływ” ze skalą OPQ „Wyrobiony towarzysko”).

 

Wniosek 12

Osoby, które komunikują się jasno i płynnie, przyciągając uwagę słuchaczy zarówno podczas publicznych wystąpień, jak i rozmów opisują się w kwestionariuszu OPQ32 jako bardziej ożywione i aktywne w towarzystwie, rozmowne i lubiące zwracać na siebie uwagę oraz pewnie i swobodnie czujące się w sytuacjach formalnych spotkań (pozytywny związek skali PMC „Umiejętność komunikacji słownej” ze skalami OPQ „Towarzyski” i „Wyrobiony towarzysko”).

 

Wniosek 13

Osoby, które są skuteczne w kierowaniu, dostarczają zespołom jasnego kierunku działania, przyjmują na siebie odpowiedzialność i sterują działaniami innych lubią także negocjować i wpływać na innych, jak również sprawować kontrolę i przewodzić innym ludziom. W mniejszym stopniu natomiast preferują konsultować się z innymi przed podjęciem decyzji (pozytywny związek skali PMC „Kierowanie” ze skalą „Perswadujący” i „Kontrolujący” oraz ujemny ze skalą „Demokratyczny” w OPQ).

 

Wniosek 14

Osoby, dążące do osiągnięć i utrzymywania jakości, ustanawiające wysokie standardy wykonania pracy w OPQ32 opisują się jako bardziej metodyczne, skoncentrowane na detalach i systematycznej pracy (pozytywny związek skali PMC „Dążenie do doskonałości” ze skalą „Metodyczny” z OPQ).

 

Wniosek 15

Osoby zdolne do nawiązywania i utrzymywania relacji z innymi opisują się w OPQ32 jako bardziej wyrobione towarzysko, czujące się pewnie i swobodnie w trakcie formalnych spotkań (pozytywny związek skali PMC „Budowanie i utrzymywanie relacji” ze skalą OPQ „Wyrobiony towarzysko”).

 

Interpretacja wyników

Uzyskane wyniki pozwoliły potwierdzić trafność teoretyczną niektórych skal kwestionariusza OPQ32, tj. Oceniający, Behawioralny, Metodyczny, Kontrolujący, Przestrzegający reguł, Innowacyjny, Ambitny, Niezależny, Perswadujący, Demokratyczny, Wyrobiony towarzysko i Towarzyski. Na podstawie przedstawionych powyżej wyników stwierdzić można, że skale te mierzą zamierzone przez autorów aspekty osobowości zawodowej osób badanych.

 

Z uzyskanych wyników można także wysnuć konkluzję, iż warto wykorzystywać obie metody: ocenę 360 stopni oraz dodatkowy kwestionariusz samooceny, gdyż dostarczą nam one kilku odmiennych informacji: jedne (z 360) dotyczą samooceny względem posiadanych kompetencji, drugie (z kwestionariusza OPQ) – preferencji co do sposobu pracy. Częściowo pozwolą nam też określić spójność udzielanych odpowiedzi.

 

 

Pewnym ograniczeniem dla wniosków wyciąganych na podstawie przeprowadzonych analiz z całą pewnością stanowi mała liczebność grupy, na której przeprowadzono badanie oraz szerokie definicje kompetencji PMC, do których porównywano skale kwestionariusza.  

 

Podsumowując, opisane powyżej badanie pozwoliło w potwierdzić trafność części skal kwestionariusza. Jak to jednak zwykle bywa w przypadku badań nad trafnością, konieczne są kolejne analizy, z zastosowaniem innych podejść, aby móc zweryfikować szerzej trafność narzędzia. W tym celu chętnie przyjmiemy Państwa pomoc w dostarczeniu odpowiednich danych do badań.