Wat betekenen de iconen van de toolkits?

Om de samenvatting van wetenschappelijk onderzoek in de toolkits in één oogopslag duidelijk te maken wordt gewerkt met drie visuele hulpmiddelen:

1. Cijfer: dit drukt het effect uit in maanden leerwinst of leervertraging

2. Een cap: dit symboliseert de sterkte van de evidentie of de bewijskracht

3. Het euroteken: om de kostprijs van een aanpak weer te geven

Die laatste twee worden weergegeven op een schaal van vijf, met één als ‘laag’ en vijf als hoog of sterk.

Deze iconen worden niet willekeurig toegepast. Ze illustreren een bepaalde effectgrootte, een bepaalde kost of een bepaalde bewijskracht. Hieronder wordt per icoon uitgelegd welke categorieën de toolkit gebruikt heeft.

Effect (in maanden leerwinst)

De effectgrootte geeft aan hoeveel maanden leerwinst gemiddeld is geboekt door kinderen en jongeren bij wie de aanpak is toegepast, ten opzichte van vergelijkbare kinderen en jongeren bij wie dat niet is gebeurd.

Sterkte van de evidentie

De toolkits geven voor iedere aanpak aan hoe degelijk de evidentie is met als doel de professionele besluitvorming op scholen te ondersteunen. In de toolkits wordt dit weergegeven met een aantal caps (afstudeerhoed). De score wordt toegekend op basis van het aantal onderzoeken dat voldoet aan de criteria om te worden opgenomen in de toolkits. Eigenschappen aan het onderzoek die de bewijssterkte onderuithalen, zwakken de score af. Dit wordt kort toegelicht in de paragraaf ‘hoe sterk is de evidentie’ die je kan terugvinden in elke toolkit-themapagina.

De onderzoeken in de toolkits zijn allemaal uitgevoerd op scholen en niet in een laboratorium, waarbij vaak gebruik werd gemaakt van een controlegroep. Er werden dus meestal niet simpelweg leerlingen voor en na de aanpak getest.

Een onderwerp kan een icoontje kwijtraken om de volgende redenen:

• Wanneer slechts een klein percentage van de onderzoeken is recent uitgevoerd. Dat kan betekenen dat het onderzoek niet representatief is voor de huidige praktijk.

• Wanneer een groot percentage van de opgenomen onderzoeken geen gerandomiseerde gecontroleerd onderzoek blijkt te zijn. Hoewel een andere onderzoeksopzet zeker belangrijke informatie kan opleveren over de effectiviteit van een aanpak, bestaat het risico dat de resultaten zijn beïnvloed door onbekende factoren die geen deel uitmaken van de aanpak.

• Wanneer een groot percentage van de onderzoeken is uitgevoerd in andere omstandigheden dan een reguliere schoolsetting. Alle onderzoeken die in de toolkit zijn opgenomen, zijn wel uitgevoerd in het klaslokaal en niet in een laboratorium. Maar als het onderzoek is uitgevoerd door onderzoekers en niet door leerkrachten, dan geeft het onderzoek ons geen informatie over hoe een aanpak wordt toegepast.

• Een groot percentage van de onderzoeken is niet onafhankelijk geëvalueerd of peer-reviewed zoals in de wetenschappelijk praktijk vaak gangbaar is. Evaluaties die zijn uitgevoerd door organisaties die betrokken zijn bij de aanpak, commerciële aanbieders bijvoorbeeld, laten vaak een groter effect zien. Dat kan het totale effect van de aanpak beïnvloeden.

• Wanneer de resultaten een grote, onverklaarbare variatie laten zien. De onzekerheid kan ook niet worden weggenomen door context, methodologie of uitvoering. Dat is in bepaalde mate bij alle reviews zo, maar als er geen verklaring voor de variatie is, dan worden de resultaten minder zeker. Daarom is het belangrijk om achter het gemiddelde te kijken en de effecten per groep te bestuderen.

Kosten

De kosten vermeld in de Toolkit zijn ‘mediaankosten’. Dat wil zeggen dat de middelste kost in een oplopende rij van de kosten die bij een verschillende toepassing horen, wordt vermeld. Ook wordt meegedeeld tot hoeveel de kosten kunnen oplopen. De Toolkit werkt liever met mediaankosten dan met gemiddelde kosten omdat zo extreme uitschieters minder invloed hebben.

Een methode of toepassing worden bijvoorbeeld duurder wanneer er kosten worden gemaakt voor de opleiding van medewerkers zoals leerkrachten en ondersteuners om een goede uitvoering van de aanpak te garanderen.

De kostenraming kan onder andere het volgende omvatten:

• de kosten voor nieuwe middelen, zoals hardware of software;

• de kosten voor opleidingen of bijscholingen die nodig zijn om de aanpak te kunnen toepassen;

• de kosten voor vervanging zodat de leerkrachten of andere medewerkers de training kunnen volgen;

• de kosten voor activiteiten voor leerlingen, zoals programma's voor leren in de buitenlucht of muziekonderwijs.

In de kostenramingen zijn geen middelen opgenomen die noodzakelijk zijn voor het uitvoeren van de aanpak, maar waarvan wordt verwacht dat scholen hier al over beschikken, zoals al aanwezig didactisch materiaal, klaslokalen of leerkrachten (tenzij een extra leraar nodig is om een aanpak uit te voeren). De reden hiervoor is dat de beslissingen vooral beïnvloed kunnen worden door de extra kosten van een aanpak.

Door voor ieder onderwerp in de toolkit de kosten weer te geven, kunnen scholen de kostenefficiëntie en het effect van verschillende benaderingen vergelijken. Bijvoorbeeld: een-op-een-begeleiding en leren van en met medeleerlingen leveren beide gemiddeld vijf maanden leerwinst op. Een-op-een-begeleiding is echter gemiddeld aanzienlijk duurder.

De kostenramingen zijn gebaseerd op een vijfpuntsschaal die hieronder is weergegeven. De bedragen werden bepaald in 2021.