Veranderingen in de dataverzameling

Veranderingen in de dataverzameling

In 2023 is de dataverzameling van het Peilstationsonderzoek in het voortgezet onderwijs op enkele onderdelen anders uitgevoerd dan in eerdere jaren. Deze aanpassingen zijn gedaan vanwege afstemming met de GM Jeugd. Deze afstemming was nodig omdat dit onderzoek gelijktijdig met het Peilstationsonderzoek werd uitgevoerd in leerjaar 2 en 4 (lees meer). Om beide onderzoeken goed te kunnen uitvoeren en scholen zo min mogelijk te belasten is de digitale afname van de vragenlijsten in leerjaar 2 en 4 geïntegreerd. Dit betekende dat er werd aangesloten bij de werkwijze van de GGD. De dataverzameling is daarom op de volgende punten aangepast vergeleken met eerdere jaren:

1. In 2023 werd in leerjaar 2 en 4 willekeuring een leerling toegewezen aan het Peilstationsonderzoek (ongeveer 1 op 56). De andere leerlingen kregen de vragenlijst van de GM Jeugd. Bij de afname in deze klassen was alleen de leerkracht aanwezig en géén getrainde onderzoeksassistent van het Trimbos-instituut. In leerjaar 1, 3, 5 en 6, is de afname niet veranderd. In deze leerjaren kregen alle leerlingen de vragenlijst van het Peilstationsonderzoek. De afname werd begeleid door een onderzoeksassistent van het Trimbos-instituut. Hierbij was ook de leerkracht aanwezig om toezicht te houden.

2. In alle leerjaren konden leerlingen de vragenlijst voor het eerst ook op een smartphone invullen. Voor leerjaren 1,3, 5 en 6 is aan scholen gevraagd om de leerlingen de vragenlijst zoveel mogelijk op een pc, laptop of tablet in te laten vullen. Voor leerjaren 2 en 4 is dat niet gedaan en is de keuze voor het apparaat aan de scholen overgelaten. Uiteindelijk vulden de meeste leerlingen de vragenlijst via een pc/laptop/tablet in (74,7%), gevolgd door de smartphone (23,1%) of indien digitale afname niet mogelijk was op papier (2,2%, alleen mogelijk in klas 1, 3, 5 of 6).

3. In eerdere jaren werden sommige vragen weergeven in blokken, met links een kolom met vragen (items) en bovenaan een rij met antwoordmogelijkheden. Dit noemen we matrixvragen. Deze vragen worden minder goed weergeven op een smartphone. Om de vragenlijst ook goed zichtbaar te maken op een smartphone, zijn de items afzonderlijk van elkaar gesteld. Daarbij werd bij elk item de vraag herhaald. Deze wijziging is doorgevoerd voor alle apparaten (smartphone, laptop, pc, tablet). Zie hieronder een voorbeeld van een vraag in 2019 en de verandering in 2023.

Voorbeeld matrixvraag 2019

Voorbeeld vraag 2023

Extra controles op de data

We kunnen niet uitsluiten dat deze aanpassingen in de dataverzameling invloed hebben gehad op de resultaten. Om hier meer zicht op te krijgen hebben we een aantal controles uitgevoerd op de data. Daaruit kwam een opvallend verschil naar voren: het aantal onvolledig ingevulde vragenlijsten bleek in 2023 veel hoger dan in de voorgaande metingen. Ter vergelijking; in 2019 zijn 68 onvolledig ingevulde vragenlijsten uit de dataset verwijderd, in 2023 ging het om 561 vragenlijsten. De vragenlijst werd onderverdeeld in vijf categorieën. Vragenlijsten werden beschouwd als onvolledig ingevuld als in vier of vijf categorieën minder dan een derde was ingevuld. Het aantal missende antwoorden in de 561 verwijderde vragenlijsten was hoog: in 93,4% van de vragenlijsten was minder dan een kwart van het totale aantal vragen ingevuld. Met name in leerjaar 2 en 4 waren relatief veel vragenlijsten onvolledig ingevuld (respectievelijk 15,1% en 11,1%). In de andere leerjaren lag het percentage verwijderde vragenlijsten rond de 2%. Dit is iets hoger dan in voorgaande jaren. We vermoeden dat dit verschil te maken heeft met minder toezicht tijdens de afname in leerjaar 2 en 4. In die leerjaren was namelijk alleen de leraar aanwezig en géén onderzoeksassistent (zie punt 1). Daarnaast was er in jaar 2 en 4 een overgang van de GM Jeugd vragenlijst naar de vragenlijst van het Peilstationsonderzoek. Mogelijk heeft dit ook geleid tot meer onvolledige vragenlijsten.

Als de leerlingen waarvan de vragenlijsten zijn verwijderd, anders zijn dan de leerlingen die de vragenlijst wel volledig hebben ingevuld, kan dit de resultaten beïnvloeden. Daarom hebben we onderzocht of deze groepen van elkaar verschillen. Als we kijken naar de verwijderde vragenlijsten, zien we: geen verschillen tussen jongens en meisjes, kleine verschillen tussen de schoolniveaus (iets meer verwijderd op het Vmbo vergeleken met Havo en Vwo) en meer verwijderde vragenlijsten onder 13- en 15-jarigen (dit correspondeert met leerjaar 2 en 4 waar de meeste leerlingen deze leeftijd hebben). Omdat de steekproef gewogen is voor deze kenmerken, verwachten we dat dit de resultaten niet heeft beïnvloed. Mogelijk zijn er nog andere kenmerken waarop de leerlingen verschillen, die wel van invloed zijn op de resultaten. Mogelijk heeft de afwezigheid van een onderzoeksassistent in leerjaar 2 en 4 er voor gezorgd dat met name jongeren die meer problematisch gedrag vertonen (waaronder het gebruik van middelen) zich vrijer voelden om af te haken tijdens het invullen van de vragenlijst. Omdat in de verwijderde vragenlijsten de meeste vragen niet zijn ingevuld, hebben we onvoldoende informatie om dit goed te kunnen onderzoeken.

We hebben ook gekeken naar verschillen in het apparaat waarop de vragenlijst werd ingevuld (zie punt 2). We zien dan dat het percentage verwijderde vragenlijsten hoger is wanneer een smartphone werd gebruikt (9,5% versus 6,2% op de pc/laptop/tablet). Om na te gaan of het invullen van de vragenlijst op de smartphone invloed heeft gehad op de resultaten, is onderzocht of het type apparaat (smartphone of laptop/pc/tablet) samenhangt met de schattingen van het gebruik van elk van de middelen en de uitkomstmaten van mentale gezondheid. De analyses zijn gecorrigeerd voor leerjaar, geslacht, schoolniveau en herkomst. De uitkomsten lieten zien dat van de 52 uitkomstmaten er 13 significant samenhangen met het apparaat waarop de lijst is ingevuld. Daarbij wezen de resultaten voor alle 13 uitkomstmaten op een iets hoger percentage middelengebruik onder degenen die de lijst op de smartphone hadden ingevuld. Dit kan mogelijk invloed hebben gehad op vergelijkingen met eerdere metingen.

We kunnen de mogelijke impact van het veranderen van de matrixvragen naar losse items (zie punt 3) niet onderzoeken in onze eigen data. Wetenschappelijke studies laten zien dat er een verschil is in kwaliteit van de data tussen matrixvragen en losse items^​1–3​. Over het algemeen wordt geconcludeerd dat de datakwaliteit beter is wanner vragen als losse items worden gesteld in plaats van in een matrix. Dit is vooral het geval bij het gebruik van een smartphone. We verwachten dat dit ook van toepassing is op onze studie. We kunnen echter niet uitsluiten dat de aanpassing invloed heeft op de vergelijkbaarheid met eerdere metingen.

Conclusie

Het is moeilijk in te schatten in welke mate de methodeveranderingen invloed hebben gehad op de resultaten.  Met name het relatief grote aantal missende gegevens in leerjaar 2 en 4 kan van invloed zijn geweest op de schattingen van het middelengebruik. Als bijvoorbeeld relatief meer scholieren die middelen gebruiken, zijn afgehaakt tijdens het invullen van de vragenlijst, dan ligt het middelengebruik in werkelijkheid hoger dan wij hebben gevonden in dit onderzoek. Vanwege de veranderingen in de methode moeten de resultaten van deze meting dan ook enigszins voorzichtig worden geïnterpreteerd. Het volgende onderzoek onder scholieren, het HBSC-onderzoek 2025, kan laten zien of de eventuele veranderingen in het middelengebruik consistent zijn.