Wat is een toolkit, hoe komt deze tot stand en op basis van welk materiaal? En: hoe gebruik je die toolkit eigenlijk?
Wat is een toolkit?
Een toolkit bevat analyses van onderzoeksdata van over de hele wereld over wat er kan gebeuren als je bepaalde praktijken of benaderingen toepast in een klas of school. De Britse organisatie EEF (Education Endowment Foundation) ontwikkelde twee toolkits: Toolkit ‘Leren en lesgeven’ (lager en secundair onderwijs) en Toolkit ‘Ontwikkeling bij kleuters’. Ze zijn bedoeld om leerkrachten en beleidsteams te ondersteunen bij beslissingen over hoe ze de leerprestaties van hun leerlingen kunnen verbeteren.
De twee toolkits samen bevatten ongeveer 40 praktijken en benaderingen om leren en lesgeven in de klas of school te verbeteren. Iedere aanpak is samengevat in drie kerncriteria die een rol spelen bij de overweging van een bepaalde aanpak of praktijk:
de gemiddelde leerwinst;
de sterkte van de onderliggende evidentie (Hoe robuust zijn de onderzoeksresultaten);
de kosten van de aanpak.
Beide toolkits worden regelmatig bijgewerkt wanneer nieuwe bevindingen uit hoogstaand onderzoek beschikbaar worden, onder andere uit door de EEF gefinancierde projecten.
Wat is de EEF?
EEF, of Education Endowment Foundation, is een Britse onafhankelijke organisatie die de studies bij elkaar bracht, vergeleek en de Toolkit en bijhorende leidraden ontwikkelde. Ze begeleidt ook projecten die aanpakken testen in scholen en rapporteert daarover.
Waarop is een toolkit gebaseerd?
Een toolkit is gebaseerd op internationaal en wetenschappelijk onderwijsonderzoek dat aan bepaalde kwaliteitscriteria voldoet. Een schat aan wetenschappelijke onderzoeksresultaten die normaal gezien achter een betaalmuur zit, wordt zo toegankelijk gemaakt.
Een studie is maar zo sterk als de onderzoeksopzet en gebruikte methodologie. Daarom wordt ook een score toegekend aan de sterkte, de betrouwbaarheid van de onderzoeksresultaten. Zij tonen hoeveel risico is verbonden aan de leerwinstresultaten. Bij een te lage kwaliteitsscore (te veel risico), wordt de leerwinst simpelweg niet vermeld. Bij andere wordt de leerwinst wel vermeld, maar wordt de bewijssterkte verminderd door elementen die de betrouwbaarheid minder zeker maken.
De toolkit werkt met een methode die bekendstaat als systematic review. Dat betekent dat de criteria om te kunnen worden opgenomen in de Toolkit op voorhand zijn vastgelegd. Alle studies die aan de criteria voldoen, worden opgenomen. Studies kunnen niet worden uitgesloten omdat ze het effect vergroten of verkleinen of omdat de onderzoekers niet blij zijn met de resultaten.
In de ‘Technical appendix’ kan je per behandeld onderwerp meer informatie vinden over de studies en hun effecten.
Hoe kan een toolkit jou helpen?
1. Bekijk effect, kost én bewijskracht samen
Het is verleidelijk om enkel naar de effecten te kijken om zoveel mogelijk leerwinst te realiseren in onze leeromgeving. Sommige klaspraktijken hebben misschien wel veel effect, maar zijn niet kostenefficiënt. Ze kosten dan veel meer tijd, geld en/of energie. Anderzijds kan een methode met een kleiner effect net weinig moeite kosten of gebaseerd zijn op meer solide onderzoeksresultaten, en dus betrouwbaarder zijn.
Het effect alleen zegt dus niet alles. De drie criteria bekijk je dus best samen en neem je alle drie mee in de vergelijking of bespreking.
2. Lees de volledige samenvatting en bekijk zeker ‘achter het gemiddelde’
Een gemiddelde kan veel variatie verstoppen. In een klas met een gemiddelde score van 7 op 10 op een toets, kunnen er zowel leerlingen een tien scoren terwijl een pak leerlingen niet geslaagd zijn. Dit geldt ook voor gemiddelde resultaten uit onderzoek. Daarom is het aangewezen voorbij de icoontjes en titel te kijken en de volledige samenvatting te lezen. Werkt de aanpak voor iedereen even goed, of zijn er verschillen? Interessante paragrafen in dit opzicht zijn ‘Achter het gemiddelde’ en ‘Onderwijsongelijkheid wegwerken’, waar je de effecten van een methode op verschillende groepen of leergebieden kan lezen.
3. Jouw professionele expertise is nodig
Geen onderwijs zonder leerkrachten. De toolkits vatten onderzoeksresultaten voor een bepaalde aanpak of methode samen. Om die aanpak in de klas of op een school toe te passen, is de expertise en het inzicht van een leerkracht nodig. Zij kennen de behoeften van hun leerlingen en de hindernissen die ze eventueel kunnen ervaren bij een aanpak of benadering. Die kennis gebruikt een leerkracht bij de selectie en beoordeling van een geschikte methode of aanpak.
4. Denk aan de principes van ‘goede implementatie’
Kiezen voor een bepaalde methode of aanpak eindigt niet bij de beslissing. Het vergt zorgvuldige voorbereiding, planning en uitrol. In de paragraaf ‘Hoe pas je dit toe in je leeromgeving’ worden de belangrijkste onderwerpen om mee rekening te houden aangeraakt.
5. Bekijk ook andere bronnen
De toolkits vatten onderzoeksresultaten wereldwijd samen, en vormen zo een goed startpunt als je denkt om een bepaalde aanpak toe te passen in jouw leeromgeving. Voor meer informatie over hoe die aanpak er kan uitzien in de klas, kan je terecht bij de praktijkvoorbeelden of leidraden met gedetailleerd advies voor de klaspraktijk.
Beperkingen van de Toolkit
De Toolkit vat studies samen die in het verleden en in bepaalde contexten zijn uitgevoerd. Het kan niet voorspellen hoe een methode of klaspraktijk zal ontvangen worden in een school of klas. De resultaten in de Toolkit tonen ‘wat al eens heeft gewerkt’ en niet (noodzakelijk) ‘wat altijd zal werken’.
Geen kant-en klare beslissing
Wat de Toolkit niet kan doen, is een definitief oordeel geven welke praktijken sowieso de schoolprestaties van leerlingen zullen verbeteren. Onderzoek is altijd de kennis op dit moment. Ze bieden wél betrouwbare informatie over wat waarschijnlijk voordelen biedt, en dit gebaseerd op wetenschappelijke en internationale onderzoeksresultaten.
Omdat de Toolkits geen sluitend antwoord kunnen geven voor een bepaald probleem, kan je ze ook niet op zichzelf gebruiken. Het professionele oordeel en expertise van de leerkracht is nodig om van informatie in de Toolkit te gaan naar een evidence-informed beslissing over wat zal werken op school.
Kwaliteit van de studies
Een studie is ook maar zo sterk als de onderzoeksopzet en -populatie. De kwaliteit van de studies is van belang en daarom wordt ook een score toegekend aan de kwaliteit, de sterkte, de betrouwbaarheid van de onderzoeksresultaten. Zij tonen hoeveel risico is verbonden aan de leerwinstresultaten. Bij een te lage kwaliteitsscore (te veel risico), wordt de leerwinst simpelweg niet vermeld.
Door de effecten en trends uit vorig onderzoek te begrijpen, krijgen beleidsteams en leerkrachten informatie over welke klaspraktijk veelbelovend is en welke risico’s met zich meebrengt.