V jednotlivých etapách prípravy a realizácie prieskumu, ako aj následnej analýzy dát boli identifikované nasledovné momenty, ktoré mohli mať vplyv na možnosti interpretácie dát:
Realizácia takého rozsiahleho prieskumu, ktorý mapoval slovenské školstvo od materských škôl až po vysoké školy, ako aj vysoké školy a vedecké inštitúcie v zahraničí s cieľom získať komplexné a ucelené informácie, si vyžadovala prípravu veľkého množstva dotazníkov (celkovo 26 rôznych verzií). Dotazníky museli obsahovať otázky špecifické pre jednotlivé stupne vzdelávacieho systému a súčasne bolo potrebné získať odpovede na rovnaký jav od rôznych skupín respondentov podľa jednotlivých stupňov vzdelávania a pozícií na týchto stupňoch. Preto sa jednotlivými dotazníkmi prelínali i spoločné otázky pre viac skupín respondentov. Pri tejto náročnej príprave dotazníkov vznikli i drobné nedostatky, ktoré sa už nedali odstrániť, keďže boli zistené až po spustení prieskumu. K nedostatkom patrili rozdielne znenia spoločných otázok. Formulácie pri niektorých spoločných otázkach v dotazníkoch sa odlišovali, pričom sa to týka buď formulácie otázky, alebo variantov odpovedí. Pri týchto otázkach sa teda stratila možnosť porovnávania odpovedí, prípadne porovnania niektorých možností odpovedí medzi jednotlivými skupinami respondentov.
Pri niektorých otázkach, pri ktorých sme chceli získať perspektívu ako žiakov stredných škôl, tak aj študentov vysokých škôl, bola zámerne použitá iná formulácia (resp. vysvetlivka v zátvorke) pre lepšiu prístupnosť a pochopenie danej položky. V týchto prípadoch porovnanie odpovedí žiakov stredných škôl a študentov vysokých škôl bolo realizované.
Pri tvorbe dotazníkov boli len pri malom množstve otázok využité škály, čo do istej miery sťažuje interpretovanie ich výsledku. Primárnym cieľom kvantitatívneho prieskumu však bolo opísať aktuálny stav, v akom rozsahu a v akých kontextoch (napr. typ školy, región) sú v slovenskom školstve prítomné problémy, preto boli použité najmä také typy otázok, ktoré merali sledované javy na nominálnej, resp. ordinálnej úrovni merania. V minimálnom množstve boli použité otázky na kardinálnej úrovni merania, ktoré sa viac používajú v meracích nástrojoch zacielených na modelovanie vnútornej štruktúry javov, tvorbu odhadov a tvorbu regresných modelov.
Zber dát formou nesupervizovaného papierového dotazníka (PAPI – Pen And Paper Interviewing) bol v prieskume pre oblasť regionálneho školstva zvolený ako najvhodnejší z pohľadu rozsahu prieskumu, veľkosti vzorky a nákladov na projekt. V prípade respondentov z materských, zo základných a stredných škôl bola metóda zberu dát online formou zamietnutá z dôvodu obáv o dostupnosť tejto formy pre všetkých potenciálnych respondentov. Istou nevýhodou PAPI metódy dopytovania sú nekompletné vyplnené dotazníky, resp. chybne vyplnené logické nadväznosti otázok v dotazníku, ako aj menšia návratnosť dotazníkov (celkovo dosiahla 52,28 %), kvôli ktorej bolo nevyhnutné znova oslovovať ďalšie školy so žiadosťou o účasť v prieskume na dosiahnutie požadovanej veľkosti vzorky. Negatívnym faktorom takejto metódy zberu môže byť aj istá obava respondentov zo straty anonymity a z toho vyplývajúce zábrany a neochota odpovedať na otázky v dotazníku. Hoci anonymita respondentov bola zaručená vo vzťahu k analytikom, v rámci škôl boli dotazníky pravdepodobne distribuované a zozbierané jedným zamestnancom, kvôli čomu sa nedá vylúčiť udávanie sociálne žiaducich odpovedí u istej časti respondentov.
Vzhľadom na typ respondentov (žiaci stredných škôl, VŠ učitelia, vedci, študenti VŠ) možno považovať zvolenú CAWI metódu zberu dát (Computer Assisted Web Interviewing, čiže vypĺňanie dotazníka prostredníctvom online formulára) ako najvhodnejšiu z časového i organizačného hľadiska. Metóda CAWI zároveň zabezpečila niekoľko ďalších výhod:
So zvolenou metódou sa však spája aj niekoľko rizík. Prvým rizikom je, že ide o samovýber a nie je teda možné ovplyvniť, kto dotazník vyplní do takej miery, ako je to pri klasických prieskumoch vedených anketármi. Konkrétne pri tomto prieskume nie je možné skontrolovať, ako jednotliví aktéri (riaditelia stredných škôl, dekani, prodekani atď.), ktorí boli kontaktovaní za účelom diseminácie informácie o prieskume, ju aj reálne urobili, preto nie je známe, či mali respondenti na rôznych školách rovnakú pravdepodobnosť dotazník vyplniť. Respondenti však vždy boli oslovovaní viacerými kanálmi súčasne, čo v konečnom dôsledku zvýšilo predpoklad, že sa k nim dotazník dostal.
V porovnaní s tradičným dotazníkom sa pri vypĺňaní online dotazníka treba spoliehať len na respondenta, distribútor nemá možnosť poskytnúť mu pomoc, pokiaľ je mu pri vypĺňaní niečo nejasné. Tento problém by mali eliminovať presné inštrukcie a jednoznačné znenie otázok a zároveň testovanie dotazníka pred jeho distribúciou. V rámci testovania dotazníkov boli identifikované nejasné formulácie, ktoré boli následne odstránené. Anonymita, vzhľadom na obsah dotazníka môže mať v tomto prieskume i svoje pozitíva, keďže sa eliminuje zábrana otvorene vyjadriť svoje názory.
Pri online prieskumoch prichádza aj k viacnásobnému vyplneniu dotazníka jedným respondentom. Tento problém bol ošetrený dôslednou kontrolou dát a duplicitné dotazníky, ako aj dotazníky s nelogickou nadväznosťou odpovedí boli vyradené.
Pri špecialistoch na ľudské zdroje obmedzením tiež mohlo byť, že dotazník bol vypĺňaný v papierovej podobe na konferencii TREND Personálny manažment 2016 a teda k papierovej forme dotazníka mala prístup len časť respondentov. Táto konferencia však patrí medzi najväčšie HR konferencie na Slovensku a teda sa na nej zúčastňuje pomerne veľká časť cieľovej skupiny. Zároveň, tí ktorí neboli na konferencii, mali možnosť vyplniť rovnaký dotazník v online podobe.
Z oslovených vysokoškolských učiteľov a vedcov pôsobiacich v zahraničí sa podarilo získať vzorku s počtom 197 respondentov. Rozsah vzorky neumožňoval podrobnejšiu analýzu niektorých otázok vzhľadom na nízke počty odpovedí v jednotlivých podskupinách. Tento problém bol riešený jednak prostredníctvom využitia kvalitatívnych dát, ktoré pomáhali s interpretáciou. Zároveň boli použité sekundárne dáta z prieskumu MORE2 Study on Mobility Patterns and Career Paths of Researchers1 , realizovaného Euraxess, mapujúceho migráciu vedeckých a výskumných pracovníkov. Ostal tu však problém, že pri niektorých odpovediach bolo príliš málo respondentov na to, aby sa dali štatisticky interpretovať.
Rovnaký problém bol zaznamenaný i pri vzorke špecialistov na ľudské zdroje s počtom 218 respondentov. Špecifickým problémom tu bol nízky počet respondentov odpovedajúcich na otázky týkajúce sa stredne a nízkokvalifikovaných respondentov. Pri interpretáciách opätovne pomohli kvalitatívne dáta a zároveň dáta z prieskumu PAS2, v rámci ktorého bola možnosť validovať viaceré otázky z dotazníka realizovaného v rámci projektu To dá rozum. Aj tu ostal problém, že v rámci jednotlivých charakteristík vzorky bolo odpovedí príliš málo na to, aby sa dali podľa nich interpretovať, napr. podľa kraja pôsobenia, ekonomickej činnosti či typu vlastníctva spoločnosti. Napriek nižšiemu počtu respondentov (218) však možno dáta považovať za výpovedné aj vzhľadom na to, že respondenti pochádzali prevažne z veľkých (43,6 %) a zo stredných firiem (44,0 %), čiže ich skúsenosti reflektovali relatívne vysoké počty uchádzačov o zamestnanie, s ktorými prišli počas ich praxe do kontaktu. Zároveň zistenia od expertov na ľudské zdroje boli komentované pánom Jozefom Javorským, ktorý má celoživotnú skúsenosť s prácou v oblasti ľudských zdrojov na Slovensku.
Nevážené dáta získané z dotazníkov pre skupiny respondentov (vysokoškoláci a VŠ učitelia a vedci zo Slovenska študujúci/pôsobiaci v zahraničí, niektoré typy respondentov zo špeciálnych škôl, špecialisti na ľudské zdroje), kde nie je možné určiť veľkosť a iné charakteristiky základného súboru, nie je možné zovšeobecniť na celkovú populáciu respondentov. Porovnávanie týchto dát s dátami, ktoré boli vážené na základe definovaných kvótnych znakov, bolo udržané iba v rovine porovnávania podielu respondentov medzi jednotlivými cieľovými skupinami dotazníkového prieskumu.
Dotazníkový prieskum bol zameraný na vnímanie problémov z pohľadu respondentov. Pri interpretácii zistení bola zohľadnená aj skutočnosť, že respondenti skúmané problémy mohli vnímať cez svoju jedinečnú skúsenosť, ktorá vychádza z konkrétnej pozície, na ktorej pôsobia. Z tohto dôvodu bola pri interpretácii zistení využívaná triangulácia zdrojov dát (z dotazníkov od rôznych typov respondentov, z kvalitatívneho prieskumu, ako aj zo sekundárnych zdrojov). K istému skresleniu odpovedí mohlo dôjsť aj v prípade respondentov z regionálneho školstva, kde bol výber respondentov na časti škôl realizovaný dvojstupňovo, t. j. riaditeľ mal náhodným spôsobom vybrať konkrétny počet učiteľov. Hoci nie je možné overiť náhodnosť výberu a dajú sa predpokladať možné skreslenia, tento spôsob výberu respondentov bol realizovaný len na menšej časti škôl a teda jeho dopad na celkové zistenia bol obmedzený.
Autor:
Miroslava Hapalová, Renáta Hall, Stanislav Lukáč, Antónia Rudinská a Jozef Kuraj
Oponent: Juraj Medzihorský
